元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
群峰拥轩槛，竹树阴漠漠。公胡苦思山，规构自心作。
惟予爱山者，初仕即京洛。嵩峰三十六，终日对高阁。
阴晴无朝暮，紫气常浮泊。雄然九州中，气象压寥廓。
亦尝步其巅，培塿视四岳。其後窜荆蛮，始识峡山恶。
长江泻天来，巨石忽开拓。始疑茫昧初，浑沌死镌鏧。
神功夜催就，万仞成一削。尤奇十二峰，隐见入冥邈。
人踪断攀缘，异物宜所诧。顾瞻但徘徊，想像逢绰约。
嵩山近可爱，泉石吾已诺。终期友幽人，白首老云壑。
荆巫惜遐荒，诡怪杳难貌。至今清夜思，魂梦辄飞愕。
偶来玩兹亭，尘眼刮昏膜。况逢秋雨霁，浓翠新染濯。
峰端上明月，且可留幽酌。