元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
别墅今为宅，芳洲古号星。
一溪萦似带，群岫列如屏。
缭绕蟠龙势，回旋翥凤形。
紫峰钟美瑞，秀丽炳神灵。
峻岭通山去，寒潭对刹渟。
高严双杰出，斜谷独深扃。
鸥路遵幽渚，牛羊散远汀。
春花纷外野，秋月可中庭。
筑室歌鸿雁，谋邻咏鹡鴒。
来居犹未久，补弊不遑宁。
爱竹留新笋，看松养茯苓。
采山收美茹，钓水得鲜鲭。
檠短亲诸子，窗明勘六经。
桂香思譬水，槐影记枫庭。
事业姑藏器，功名会发铏。
岂无牙父志，当遇子期听。
鵰鹗须逢运，骅骝岂峦坰。
祗今时合待，拄笏谩名亭。