常衮登第后由太子正字授补阙起居郎,永泰元年(765年)授中书舍人。大历十二年(777年)拜相,杨绾病故后,独揽朝政。以文辞出众而又登科第为用人标准,堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后,被贬为河南少尹,又贬为潮州刺史。不久为福建观察使。常衮注重教育,增设乡校,亲自讲授,闽地文风为之一振。建中四年(785年)死于任上。享年五十五岁,追赠为尚书左仆射。
天低泱漭云模糊,冻鸦哑哑城头呼。雪花纷落太于掌,凝矑激射清冰壶。
梅花不见冒春雪,但见老树撑庭隅。碎琼细著苔点密,裂玉蟠作虬枝枯。
泠然直洗肝胆洁,悄焉不觉形神孤。忆我别家九月九,至今三饮屠苏酒。
前年风雪送兄归,冲寒愁折芦沟柳。南来飞雁犹呼偶,何日行随坐相守。
思兄此日北堂前,独献春盘剪春韭。
煌煌京洛游,四顾浮云色。兴词摛雄藻,千载无终极。
悲风起中天,奄忽乖羽翼。伊予归旧疆,之子出殊域。
相去万余里,怆恻动心臆。登高远眺望,惟见荆与棘。
日落豺虎吟,狐狸潜道侧。愿保金石躯,慰我长相忆。