自咸丰五年（公元1855年）黄河决口改道，从山东境内入海后，山东就频受黄河水灾。到了光绪年间，时任山东巡抚陈士杰虽全力治黄，却收效甚微。最终，他只好无奈托病辞职。

　　光绪十二年（公元1886年），河南布政使张曜升任山东巡抚。他刚上任，就逢山东遭受水旱灾害，黄河也经常泛滥。人民困苦，社会不宁，运河漕运不畅，治理黄河箭在弦上。

　　张曜把治理黄河当作自己施政的首要任务，用大部分精力对黄河情况进行调查。他广罗人才，“有言河务者，虽布衣末僚，皆延致咨询，唯恐失之”。著名的小说家刘鹗就是他颇为倚重的治黄人才。

　　根据山东河道特点，张曜除加强两岸堤防外，还提出了“分”与“疏”的主张。他认为山东黄河两岸大堤不够坚固，河道又窄，水很容易泛滥。他兴建多处分水设施，缓解黄河洪水的威胁。

　　为了保持沿岸水土，张曜从泺口到济南的大道两旁栽种许多杨柳，人们亲切称之为“张公柳”。

　　张曜常说：“治河如治病，泛滥冲决，此河之病也，淤滩沙嘴，横亘河流，此又致病之由也。”为了治理黄河，张曜一年中有300天奋战在黄河大堤上。

　　光绪十七年六月，张曜在抢护史家坞、王阳家等处险工时，背上长了毒疮，等被人护送回济南时病情已经十分严重，不久便不治身亡。济南人民感其恩德，尊他为“黄河大王”。清政府谥其“勤果”，追赠太子太保，入祀贤良祠，并准予在立功省份建立专祠。