常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
衡岳群舒地，横江六代都。风烟通上下，民俗别荆吴。
驻节方从化，移辕有待苏。生申元四国，借寇岂私吾。
白下公初莅，黄中信早孚。从容文礼乐，谈笑奠江湖。
小察羞誇智，吁猷始作谟。五年休息意，四境荡平途。
爱士怜弹铗，知音辨滥竽。古风宣頀夏，伪体辟榛芜。
岂以文防政，真看效是儒。甘棠方苃舍，瓠子计搴刍。
天语褒丹凤，人心絷白驹。皖公先在望，泗上且须臾。
四载俄安宅，双旌遂载驱。同州淮海合，分省井疆殊。
作伯临诸帅，投閒有一夫。登龙惭郭泰，伏鹄愧南趎。
江远林烟澹，霜初岸草枯。远偕迎竹马，近即送樯乌。
回首思乡郡，倾心仰大炉。土风兼侠武，邻域急军需。
狗有生氂逸，人无佩犊粗。依仁谐众愿，舞德况微躯。
剧邑将辞醴，归村更饮酺。瓶开惟说尹，襁负共将雏。
九派浔阳会，千峰天柱孤。词源瞻几杖，坐上又醍醐。
此地朱訾口，他时北斗枢。旬宣宁楚尾，羽翼上天衢。
业广同环海，恩周讵向隅。形容群作颂，传咏慰吴歈。