常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
相国生南纪，金璞无留矿。仙鹤下人间，独立霜毛整。
矫然江海思，复与云路永。寂寞想土阶，未遑等箕颍。
上君白玉堂，倚君金华省。碣石岁峥嵘，天地日蛙黾。
退食吟大庭，何心记榛梗。骨惊畏曩哲，鬒变负人境。
虽蒙换蝉冠，右地恧多幸。敢忘二疏归，痛迫苏耽井。
紫绶映暮年，荆州谢所领。庾公兴不浅，黄霸镇每静。
宾客引调同，讽咏在务屏。诗罢地有馀，篇终语清省。
一阳发阴管，淑气含公鼎。乃知君子心，用才文章境。
散帙起翠螭，倚薄巫庐并。绮丽玄晖拥，笺诔任昉骋。
自我一家则，未缺只字警。千秋沧海南，名系朱鸟影。
归老守故林，恋阙悄延颈。波涛良史笔，芜绝大庾岭。
向时礼数隔，制作难上请。再读徐孺碑，犹思理烟艇。
开府西林，却化为城阙，满眼青衿。间关旧时从事，细检岩阴。
履綦何处，只荒碑、支阁苔岑。行不尽、长溪寒水，依然栏槛深沉。
往日英雄谁念，任良丰山水，描写形音。相思未知我到，红豆飘零。
老年宾客，乍来游、重问难凭。漫赢得、早在魂梦，桂林曾吊西林。