常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
华生早世良可惜，自来不寿皆寂寂。少妇侍疾辛勤历，力尽服毒乘人隙。
默然不语僵床侧，一日双棺动人魄。堂前有姒承欢色，膝下无儿手易撇。
剔目割耳事非逆，二尸同穴明心迹。应死即死无娇饰，未亡先亡真令德。
古来不辱有所迫，今见从容性命革。亲朋哀辞多惨戚，伤哉目见尤难释。
君家节孝本赫奕，廿龄夫妇贞石勒。