元干出身书香门第。其父名动，进士出身，官至龙图阁直学士，能诗。张元干受其家风影响，从小聪明好学，永泰的寒光阁、水月亭是他幼年生活和读书处。十四五岁随父亲至河北官廨（在临漳县）已能写诗，常与父亲及父亲的客人唱和，人称之“敏悟”。
梁公曾孙我姨弟，不见十年官济济。大贤之后竟陵迟，
浩荡古今同一体。比看叔伯四十人，有才无命百寮底。
今者兄弟一百人，几人卓绝秉周礼。在汝更用文章为，
长兄白眉复天启。汝门请从曾翁说，太后当朝多巧诋。
狄公执政在末年，浊河终不污清济。国嗣初将付诸武，
公独廷诤守丹陛。禁中决册请房陵，前朝长老皆流涕。
太宗社稷一朝正，汉官威仪重昭洗。时危始识不世才，
谁谓荼苦甘如荠。汝曹又宜列土食，身使门户多旌棨。
胡为漂泊岷汉间，干谒王侯颇历抵。况乃山高水有波，
秋风萧萧露泥泥。虎之饥，下巉岩，蛟之横，出清泚。
早归来，黄土泥衣眼易眯。