以姓氏和地理位置命名。
据传,谌姓兄弟二人于明朝洪武年间自山西中山迁此,分居两地,其兄居于北侧一华里处,为大谌庄,此处为弟居住之地,故名小谌庄。
清属岔曲保;1921年属南区沟桥村;1934年属第一区臧田联保;1941年属商桥镇第十五保;1949年属台陈区;1958年属王曲公社;1962年属台陈区;1965年属台陈公社小谌庄大队;1984年属台陈乡小谌庄村民委员会;1997年属台陈镇小谌庄村民委员会。