金水區是鄭州市中心城區,因流經轄區、起源于春秋戰國時代的金水河而得名。
解放前,轄區屬鄭縣管轄。1948年鄭州解放,鄭縣分為鄭州市和鄭縣,轄區城區部分屬市、農村部分屬縣。1953年撤銷鄭縣,成立郊區,轄區城區部分歸隴海區、二七區和建設區,農村部分屬郊區。 1960年4月,金水人民公社成立;1961年8月更名為金水區,區轄9個街道辦事處和海灘寺農業公社。1987年3月,鄭州市進行區劃調整,撤銷郊區、金海區,原郊區的柳林鄉、祭城鄉、姚橋鄉和原金海區的廟李鄉劃歸金水區,金水區的劉砦街道辦事處劃歸邙山區。