常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
长淮浪平风暂息，万里云消楚天碧。东方月出海门宽，浩浩清河黯无色。
楼船伐鼓顺下流，今夕何夕当中秋。金绳转影素华满，卸帆且作须臾留。
夜深人家市声静，我独高吟众船听。思夺梁园席上才，气压南楼座中兴。
百年此夜不多好，人世浮云何足道。虽有乡心自感伤，能无樽酒相倾倒。
人间清景不可并，杯当暂辍歌亦停。翻思年年看月伴，如今落落如晨星。
此怀此念谁能识，苕水东头静居客。为渠写作看月诗，西方拟附南飞翼。