常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
玉笋京华，紫荷香润，宴闲密侍西清。碧幢金节，仍尹凤皇城。
须信千龄庆遇，丹霄上、重叠恩荣。时多暇，湖山丽景，许酒乐升平。
新春。逢诞日，莺花渐好，初过烧灯。想笙歌丛里，醉赏瑶觥。
占尽人间福寿，行看取、稳赞机衡。貂蝉映，朱颜绿鬓，沙路马蹄轻。