常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
三代日方中，为民破重昏。
既蚀复光融，孔孟道益尊。
古礼今则亡，陈编意犹存。
饮燕用觥筹，荐享羞羔豚。
瞿昙何为者，髡首徒实繁。
不饮非畏义，不杀非知仁。
举世昏不悟，跣足行荆榛。
胎祸产妖幻。与佛岐又分。
俗愚有罣误，吏议多深文。
怒言必溢恶，疑似恐不根。
黔首亦何罪，可悯不可嗔。
大道若返古，怪说难眩民。
帝民虎豹守，此语谁扣阍。