元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
近时文章衰，浅陋亦可怜。
走趋王公门，书记争翩翩。
开读令人惭，语吃意莫宣。
今晨忽惊喜，赠我手一编。
笔端吐虹霓，直上欲干天。
樊南甲乙中，乃有猗那篇。
如听正始音，复回元佑年。
借问安能尔，气刚得其全。
用为良有司，吾实无间然。
要知取士公，考阅外已传。
何由置汉朝，直柄遂当权。
伏阁日论事，不减阳城贤。