元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
我家铜剑如赤蛇，君家石砚苍璧橢而洼。
君持我剑向何许，大明宫里玉佩鸣冲牙。
我得君砚亦安用，雪堂窗下尔雅笺虫虾。
二物与人初不异，飘落高下随风花。
蒯缑玉具皆外物，视草草玄无等差。
君不见秦赵城易璧，指图睨柱相矜夸。
又不见二生妾换马，骄鸣啜泣思其家。
不如无情两相与，永以为好譬之桃李与琼华。