常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
潦倒宦情尽，萧条芳岁阑。欲辞南国去，重上北城看。
复叠江山壮，平铺井邑宽。人稠过杨府，坊闹半长安。
插雾峰头没，穿霞日脚残。水光红漾漾，树色绿漫漫。
约略留遗爱，殷勤念旧欢。病抛官职易，老别友朋难。
九月全无热，西风亦未寒。齐云楼北面，半日凭栏干。
重来诗更好，稍稍露行藏。却问平津邸，何如谷口庄。
铗弹宁为腹，弦断别萦肠。薄禄湖南地，瞻云泪万行。