因村民委员会驻潘牛,故名。
村庄早居牛姓,故名牛庄。后来潘姓迁入,占超过一半,改名为潘牛。
清属南王保;1921年属南区洪山庙街;1934年属第三区洪山庙联保;1941年属商桥镇第五保;1948年属商桥区;1949年属台陈区;1955年属皇帝庙中心乡;1958年属皇帝庙公社;1961年属台陈区;1965年属皇帝庙公社,为潘牛大队;1984年属皇帝庙乡,改为今名。