元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
我家白板扉，覆檐乌桕树。
远山若画屏，颇适栖迟趣。
每忆七岁时，摊书未能句。
偷线作钓丝，频遭邻媪怒。
得鱼辄放去，倒向萍汀卧。
梦一白髯翁，引行松下路。
教我学吟诗，茫不知其故。
携手登高坛，失足遂惊寤。
此梦宛未散，长渐耽词赋。
自谓口出云，人讥泥染絮。
今秋二十余，远游桃叶渡。
遍访众骚坛，旗鼓各争竖。
结社留小巫，气索不敢赴。
孤舟若病马，到家岁云暮。
相对妇攒眉，瓦瓶沽白堕。
醉吟长五言，书之挂蓬户。
无佛处称尊，一笑颜微破。