元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
知音古亦少，况乃今人乎。至和动殊类，此则今世无。
舜韶舞百兽，事可观于书。但非耳目接，便自疑其虚。
谁谓今之人，反不如兽欤。大音盖希声，聋俗或万殊。
中孚有不化，嗟嗟乎豚鱼。
报白君，别来已渡江南春。江南春色何处好，
燕子双飞故官道。春城三百七十桥，夹岸朱楼隔柳条。
丫头小儿荡画桨，长袂女郎簪翠翘。郡斋北轩卷罗幕，
碧池逶迤绕画阁。池边绿竹桃李花，花下舞筵铺彩霞。
吴娃足情言语黠，越客有酒巾冠斜。坐中皆言白太守，
不负风光向杯酒。酒酣襞笺飞逸韵，至今传在人人口。
报白君，相思空望嵩丘云。其奈钱塘苏小小，
忆君泪点石榴裙。