常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
余至黄州二年，日以困匮，故人马正卿哀余乏食，为于郡中请故营地数十亩，使得躬耕其中。
地既久荒为茨棘瓦砾之场，而岁又大旱，垦辟之劳，筋力殆尽。
释耒而叹，乃作是诗，自愍其勤，庶几来岁之入以忘其劳焉。
废垒无人顾，颓垣满蓬蒿。
谁能捐筋力，岁晚不偿劳。
独有孤旅人，天穷无所逃。
端来拾瓦砾，岁旱土不膏。
崎岖草棘中，欲刮一寸毛，喟焉释耒叹，我廪何时高。
荒田虽浪莽，高庳各有适。
下隰种秔稌，东原莳枣栗。
江南有蜀士，桑果已许乞。
好竹不难栽，但恐鞭横逸。
仍须卜佳处，规以安我室。
家童烧枯草，走报暗井出。
一饱未敢期，瓢饮已可必。
自昔有微泉，来従远岭背。
穿城过聚落，流恶壮蓬艾。
去为柯氏陂，十亩鱼虾会。
岁旱泉亦竭，枯萍黏破块。
昨夜南山云，雨到一犁外。
泫然寻故渎，知我理荒荟。
泥芹有宿根，一寸嗟独在。
雪芽何时动，春鸠行可脍。
（蜀人贵芹芽脍，杂鸠肉作之。
）种稻清明前，乐事我能数。
毛空暗春泽，针水闻好语。
（蜀人以细雨为雨毛。
稻初生时，农夫相语稻针出矣。
）分秧及初夏，渐喜风叶举。
月明看露上，一一珠垂缕。
秋来霜穗重，颠倒相撑拄。
但闻畦陇间，蚱蜢如风雨。
（蜀中稻熟时，蚱蜢群飞田间，如小蝗状，而不害稻。
）新舂便入甑，玉粒照筐筥。
我久食官仓，红腐等泥土。
行当知此味，口腹吾已许。
良农惜地力，幸此十年荒。
桑柘未及成，一麦庶可望。
投种未逾月，覆块已苍苍。
农夫告我言，勿使苗叶昌。
君欲富饼饵，要须纵牛羊。
再拜谢苦言，得饱不敢忘。
种枣期可剥，种松期可斫。
事在十年外，吾计亦已悫。
十年何足道，千载如风雹。
旧闻李衡奴，此策疑可学。
我有同舍郎，官居在灊岳。
（李公择也。
）遗我三寸甘，照座光卓荦。
百栽倘可致，当及春冰渥。
想见竹篱间，青黄垂屋角。
潘子久不调，沽酒江南村。
郭生本将种，卖药西市垣。
古生亦好事，恐是押牙孙。
家有十亩竹，无时客叩门。
我穷交旧绝，三子独见存。
従我于东坡，劳饷同一餐。
可怜杜拾遗，事与朱阮论。
吾师卜子夏，四海皆弟昆。
马生本穷士，従我二十年。
日夜望我贵，求分买山钱。
我今反累生，借耕辍兹田。
刮毛龟背上，何时得成毡。
可怜马生痴，至今夸我贤。
众笑终不悔，施一当获千。