元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
不必探幽上郁冈，公斋吟啸亦何妨。唯求薏苡供僧食，
别著氍毹待客床。春近带烟分短蕙，晓来冲雪撼疏篁。
馀杭山酒犹封在，遥嘱高人未肯尝。
已上星津八月槎，文通犹自学丹砂。仙经写得空三洞，
隐士招来别九华。静对真图呼绿齿，偶开神室问黄芽。
方诸更是怜才子，锡赉于君合有差。
名价皆酬百万馀，尚怜方丈讲玄虚。西都宾问曾成赋，
东海人求近著书。茅洞烟霞侵寤寐，檀溪风月挂樵渔。
清朝还要廷臣在，两地宁容便结庐。