常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
虏阵横北荒，胡星曜精芒。羽书速惊电，烽火昼连光。
虎竹救边急，戎车森已行。明主不安席，按剑心飞扬。
推毂出猛将，连旗登战场。兵威冲绝漠，杀气凌穹苍。
列卒赤山下，开营紫塞傍。途冬沙风紧，旌旗飒凋伤。
画角悲海月，征衣卷天霜。挥刃斩楼兰，弯弓射贤王。
单于一平荡，种落自奔亡。收功报天子，行歌归咸阳。