常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
阿大中郎，论家世、人人有集。吾老矣、沅湘香草，童蒙聊拾。
破屋霜红萝薜暗，空斋雨黑仓琅涩。叹青衫、原不为琵琶，年年湿。
谁耐把，残编缉。久懒向，侯门揖。算曹刘沈谢，非今所急。
一片月悬关塞上，五更笛落阑干北。正匣中、刀作老龙吟，声于邑。
颂美驰千古，钦贤仰大猷。晋公标逸气，汾水注长流。
神与公忠节，天生将相俦。青云本自负，赤县独推尤。
御史风逾劲，郎官草屡修。鹓鸾粉署起，鹰隼柏台秋。
出入交三事，飞鸣揖五侯。军书陈上策，廷议借前筹。
肃肃趋朝列，雍雍引帝求。一麾俄出守，千里再分忧。
不改任棠水，仍传晏子裘。歌谣随举扇，旌旆逐鸣驺。
郡国长河绕，川原大野幽。地连尧泰岳，山向禹青州。
汶上春帆渡，秦亭晚日愁。遗墟当少昊，悬象逼奎娄。
即此逢清鉴，终然喜暗投。叨承解榻礼，更得问缣游。
高兴陪登陟，嘉言忝献酬。观棋知战胜，探象会冥搜。
眺听情何限，冲融惠勿休。只应齐语默，宁肯问沉浮。
然诺长怀季，栖遑辄累丘。平生感知己，方寸岂悠悠。