常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
鲁望江南客，风骚猎将坛。
高吟得意处，清韵逼人寒。
场屋声华旧，襟灵渤澥宽。
闺门尽羔雁，庭野列芝兰。
黾勉来新定，淹留就小官。
酒论浩劫饮，山欲上天看。
待月高峰寺，听猿七里滩。
入云移翠簜，凿石引鸣湍。
一日交符去，芳风善继难。
红尘久离阔，白首此相欢。
留方医鹤膝，贶别遗渔竿。
虎杏宁知用，松筠幸未残。
路长分骥騄，火烈辨琅玕。
沙际多平仲，鴒原有谢安。
卷舒知自得，不用苦弹冠。