常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
使君十载南康城，抚摩一郡如孩婴。我来匡山狎猿鹤，满耳闻颂神君声。
作公部民差可喜，一廛稳受千崖里。劳公白衣常送酒，念我黄冠似归里。
命驾每从千里外，卜居已过三年矣。去年武昌来，闻公亦初还。
公还旧郡我还山，山中猿鹤皆欢颜。今年武昌来，闻公又将去。
公还故乡我流寓，山中猿鹤皆悲绪。我今年才三十强，怀抱冰雪无春阳。
每逢热官辄走避，见公岂意温中肠。公年八十好神采，健若龙马驰康庄。
至人养和驭造化，外物冰炭谁能伤。乃知蓬蒿与松柏，相见未可论短长。
八百纵难企彭祖，九十已足凌张苍。何况治郡有阴德，于公子孙行更昌。
官閤沈沈语忘倦，白头回忆江南战。酒酣耳热说曾侯，幕府英英盛群彦。
郭冲五事犹能记，阮孚三语初为掾。同时得路俱腾骧，钟鼎山林两无算。
转饷曾推萧相功，饮醇自学曹参办。寥落东南一老守，头童齿豁看云久。
方今吏道颇衰微，莫使贤人厌升斗。安得皆如元道州，一时布列神州九。
解组谁明陶令心，埋轮更惜张纲手。我尚思攀车上辕，公言且酌杯中酒。
函楼老子六十余，挂冠七载神丰腴。今年有意探匡庐，乘兴一访茅君居。
华阳句曲公乡里，洞天福地非虚诬。烦公更作东道主，却写交游两世图。