因河源于鲁山县辉渠,故名辉河。后因“辉”、“灰”同音,且河底多泥呈灰色,故演称今名。
始名辉河,亦称昆水、万泉河。在县北部。据《明嘉靖南阳府志校注》、《汉书·功臣表第五》记载:扑朋曾封于鲁阳(今鲁山)为辉渠侯。因河源于鲁山县辉渠,故名辉河。又据河为多源之水,且河内有万泉涌出,故亦称昆水和万泉河。后因“辉”、“灰”同音,且河底多泥呈灰色,故演称今名。
历史上灰河水十分充沛,如今水量下降,河道变窄。