因村委会驻泰山庙村而得名。
清末,三户张姓从今保和乡何庄(古称河里魏庄)迁此建村,曾名小张庄。后因村东有泰山庙,易今名。
明、清属西中伍保;1931年属第一区东关镇;1943年属狄青乡;1949年属第一区;1958年属城关人民公社,属城角杨大队;1984年属城关乡城角杨村民委员会;1988年属文峰乡城角杨村民委员会;1997年5月单独设立泰山庙村民委员会至今。