常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
小楼阴。认莓鬟数点，邀梦礼红簪。冻孑冰鳞，光浮蜡凤，芳夜清酌沈沈。
翠尊冷、疏香乍染，又幽唱、催起宿花禽。锦柱怜声，彩幡羞鬓，暗怯春临。
回首承华天远，问东风何世，皱损芳心。油卜疑乖，羹香总负，残绪重费温寻。
早飞尽、梅梁旧燕，剩泥痕、还印画屏金。漫道愁来是醉，醉浅愁深。