因村委会驻柿园胡村而得名。
明代,胡姓兄弟二人。从山西洪洞县迁此建村,因村旁有大柿树园,故名。
明、清属藕池保;1931年属第六区效集乡;1943年属下澧乡;1949年属第七区;1958年属孟寨人民公社,为柿园胡大队;1984年属孟寨乡,为柿园胡村民委员会;1998年孟寨乡撤乡建镇改为孟寨镇,仍属之。