常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
更休寻、玉山瑶草，蓬莱知在何处。司花嫌被春风妒。留待九秋清露。还解语。试问著、当时月夜乘鸾女。何年遗汝。甚不怕高寒，青冥万里，鬟鬓乱风雾。人间世、无物有香如许。灵均遗恨千古。芙蓉杜若何堪佩，憔悴行吟沅浦。空自苦。悄教得、扬雄不信离骚赋。云窗月户。恨白发诗翁，年来多病，不识醉乡路。