常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
险倚石屏风，秋涛梦越中。前朝吟会散，故国讲流终。
北地闻巴狖，南山见碛鸿。楼高惊雨阔，木落觉城空。
兔满期姚监，蝉稀别楚公。净瓶光照客，拄杖朽生虫。
平地塔千尺，半空灯一笼。祝尧谈几句，旋泻海涛东。
小楼灯灺，喜屏山、近与眉峰对映。酒冷黄昏听宿雨，客子愁肠无定。
银管生尘，玉奁随浪，各自成孤另。相怜何事，语香帘侧红凝。
回想年少风流，丝管吴城，强半因花病。春色抛人容易也，蝴蝶空馀情性。
锦缆横江，珠鞍骤马，总是凄凉境。追欢今夕，一声梦断清磬。