因村委会驻潘楼村而得名。
据传,古时高姓在此建村,并筑有三层楼房一座,名曰:“高家楼”。后潘姓自叶县潘寨迁此,高姓败落,楼房卖给潘姓,遂更为今名。
明、清属鲁奉保;1931年属第六区魏寨乡;1943年属下澧乡;1949年属第八区;1958年属孟寨人民公社,属魏寨大队;1984年属孟寨乡,为潘楼村民委员会;1998年孟寨乡撤乡建镇改为孟寨镇,仍属之。