直隶南皮（今河北南皮）人。清道光十七年丁酉八月初三生于贵州，宣统元年己酉八月二十一卒于北京。咸丰二年（1852年）十六歲中顺天府解元，同治二年（1863年）廿七歲中進士第三名探花，授翰林院编修，歷任教习、侍读、侍讲、内阁学士、山西巡抚、两广总督、湖广总督、两江总督（多次署理，从未实授）、军机大臣等职，官至體仁閣大學士。

張之洞早年一度是清流派健将，后成为洋务派的主要代表人物，大力倡導「中學為體，西學為用」。他注重教育和治安，主導了中國近代的警察制度，对清末教育和社會發展有很大的影响。還曾創辦漢陽鐵廠、大冶鐵礦、湖北槍砲廠等。八國聯軍入侵時，大沽砲台失守，张之洞會同两江总督劉坤一與駐上海各國領事議訂“東南互保”，並鎮壓維新派的唐才常、林圭、秦力山等自立軍起義，光緒三十四年（1908年）11月，以顧命重臣晉太子太保，次年病卒，諡文襄。有《廣雅堂集》。張之洞與曾國藩、李鴻章、左宗棠并稱晚清「四大名臣」。

1884年中法战争时，由山西巡抚升任两广总督，起用退休老将冯子才，在广西边境击败法军。又设广东水陆师学堂，立广雅书院，武备文事并举。
1889年至1907年任湖广总督。在英國、德國支持下，成为后起的洋务派首领。督鄂期间，着力扶持民族工业，先后开办汉阳铁厂、湖北兵工厂、马鞍山煤矿、湖北织布局、湖北缫丝局等重轻工业企业，并筹办芦汉铁路。他主持修筑的武昌南北长堤和汉口后湖长堤排除水患，划定了20世纪初的武汉三镇与今天的武汉市相近的城市规模，同时支持民族企业家操办水电等现代化市政建设，为武汉自近代以来的繁荣奠定了基础。
1890年创建两湖书院。
1893年奏请清政府创办自强学堂（武汉大学前身）。
1894年署理两江总督。曾上疏阻和议，要求变通陈法，力除积弊。邀请外国教官训练江南自强军。
1896年回武昌，任湖广总督，按照德国制式改造湖北旧军为新式陆军。创办湖北武备学堂。德国教官法金汉后来是一次大战时期德意志帝國总参谋长。
1896年请奏创办江南陆师学堂。
1898年发表《劝学篇》，提出“旧学为体，新学为用”，以维护中國傳統伦理纲常，与戊戌变法的激进主张保持距离‏[。戊戌政变后，张之洞以先著《劝学篇》得免议。
1889年張之洞上奏提出鑄造銀圓「龍洋」，抵抗外國貿易銀。
1900年力主镇压义和团运动，与劉坤一、李鸿章等东南督抚实行东南自保，不理會慈禧太后對聯軍開戰的命令。镇压唐才常自立军起义。
1901年与刘坤一联衔上奏提出“兴学育才”办法四条，仿日本学制拟定“癸卯学制”（即1903年经修改重颁的《奏定学堂章程》），为全国最早采用的近代教育体制。邀请日本教官训练湖北新军。
1902年继刘坤一，再度署理两江总督，1903年2月上奏《创办三江师范学堂折》，强调办学首重师范，拟“先办一大师范学堂，以为学务全局之纲领”，并委任刘世珩缪荃孙等负责筹建，为近代南京大學之开端
1903年回武昌，任湖广总督。
1906年，湖北新军经清政府中央练兵处统一编为陆军第八镇和第二十一混成协。
1907年授大学士，9月4日与袁世凯同日授军机大臣，兼管学部。
1908年督办粤汉铁路，晋太子太保。慈禧臨終時受顧命，後力劝摄政王载沣不杀袁世凯。
1909年10月4日在北京白米斜街寓所去世，谥文襄。
大学士张之洞公忠体国，廉正无私，荷先朝特达之知，由翰林院洊升内阁学士，简授山西巡抚，总督两广、湖广，权理两江，凡所设施，皆提倡新政，利国便民。庚子之变，顾全大局，保障东南，厥功甚伟。旋以总督晋陟纶扉，入参机要，管理学部事务，宗旨纯正，懋著勋劳。朕御极后，深资倚畀，晋加太子太保衔。服官四十余年，擘画精详，时艰匡济，经猷之远大，久为中外所共见。近因患疾，屡经赏假调理，并赏赐人参，方冀克享遐龄，长资辅弼。兹闻溘逝，轸惜殊深。著赏陀罗经被，派郡王衔贝勒载涛带领侍卫十员即日前往奠醊，并赐祭一坛，加恩予赐谥文襄，赠太保，照大学士例赐恤，入祀贤良祠，赏银三千两，治丧由广储司给发，任内一切处分悉予开复。应得恤典，该衙门察例具奏。灵柩回籍时，沿途地方妥为照料。伊子礼部郎中张权著以四品京堂候补，邮传部学习员外郎张仁侃以郎中补用。伊孙选拔贡生张厚璟著赏主事分部补用，用示笃念荩臣至意。‏