常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
雨添溪水碧粼粼，夹岸人家柳色新。南国山川遥在眼，东风鱼鸟总知春。
连营插戟屯坚壁，骄马如龙踏软尘。上相倚楼频指顾，几多仁爱在斯民。
东山有草堂，缥缈云峤孤。
前对祝融峰，下瞰巴陵湖。
明公昔时此堂居，麋鹿熊豕当窗趋。
洞庭日落风浪涌，倒影射堂堂欲动。
惨淡谁闻紫芝曲，独善不救苍生哭。
先帝亲裁五色诏，老臣曾受三朝禄。
此时边徼多战声，曳履谒帝登承明。
谢安笑却淮淝敌，魏相坐测单于兵。
九重移榻数召见，夹城日高未下殿。
英谋密语人不知，左右微闻至尊羡。
自从龙去不可攀，公亦卧病思东山。
湘娥含笑倚竹立，山鬼窈窕堂之侧。
上书苦死只欲归，圣旨优容意凄恻。
内府盘螭缕金织，赐出倾朝皆动色。
白金之铤红票记，宝钞生硬鸦翎黑。
崇文城门水云白，是日观者涂路塞。
城中冠盖尽追送，尘埃不见长安陌。
人生富贵岂有极，男儿要在能死国，不尔抽身早亦得。
君不见汉二疏，千载想慕传画图。
即如草堂何处无，禄食匋窃胡为乎？乃知我公真丈夫！呜
呼，乃知我公真丈夫！