潘希曾，浙江金华人。弘治十五年（1502）进士，改庶吉士，授兵科给事中，因灾异奏陈八事，指斥近幸。出核湖广、贵州军储还，不赂刘瑾，刘瑾大怒，矫诏廷杖除名。刘瑾伏诛，起迁吏科右给事中。嘉靖中历太仆卿，伏阙争大礼。以右佥都御史巡抚南赣，迁工部右侍郎总理河道，筑长堤四十余里，期年而成。历兵部左右侍郎。嘉靖十一年（1532）五月初四日卒于官，年五十七。赠兵部尚书。有《竹简集》及《奏议》传世。
楼据湖山背。倚高寒、尘飞不到，越山相对。老月腾辉群动息，独坐清分沆瀣。更满听、潮声澎湃。醉里诗成神鬼泣，景苍凉、又在新诗外。浑忘却、功名债。凭谁妙笔能图绘。羡中郎、前身摩诘，宛然心会。拈出清宵无限意；半幅溪藤光怪。方信有、人间仙界。云淡天低奇绝处，笑僧殊、未识丹青在。留此轴，夸千载。