常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
法苑称嘉柰，慈园羡修竹。灵觉相招影，神仙共栖宿。
慧言绝已久，烦劳多累蓄。因兹阐慧云，欲使心尘伏。
八水润焦芽，三明启群目。宝铎旦参差，名香晚芬郁。
暂舍六龙驾，微祛二鼠蹙。意树发空花，心莲吐轻馥。
喻斯沧海变，譬彼庵罗熟。妙智方缛锦，深词同雾縠。
善学同梵爪，真言异铜腹。逶迤合盖城，葳蕤布金郁。
珠华荫八溪，玉流通九谷。青禽乍下上，云雁飞翻覆。
高谈属时胜，寡闻终自恧。日丽鸳鸯瓦，风度蜘蟵屋。
落花散远香，霏云卷遥族。旷济同象园，中乘如伫独。
后焰难坚明，初心易惊缩。应当离花水，无令乖七木。
投岩不足贵，棘林安可宿。器月希留影，心灰庶方扑。
视爱同采蜂，游善如原菽。八邑仙人山，四宝神龙澳。
药树永繁稠，禅枝讵凋摵。以兹说闻道，庶此优驰逐。
愿追露宝车，脱屣亲推毂。
隐市山林，傍家池馆，顿成佳趣。是几番临水看云，就树揽香，诗满阑干横处。翠径小车行花影，听一片春声人笑语。深庭宇。对清昼渐长，闲教鹦鹉。
芳情缓寻细数。爱碧草平烟红自雨。任燕来莺去，香凝翠暖，歌酒清时钟鼓。二十四帘冰壶里，有谁在箫台犹醉舞。吹笙侣。倚高寒、半天风露。