以建成时间命名。

唐（应为五代后周）显德年间（954-960年)，依唐玄宗李隆基，于开元二十六年（公元738年）所降旨意兴建，故名。

据清道光《舞阳县志》记载：“万寿圣节元旦长至，知县率群僚属于五更时，赴开元寺供奉龙牌处就班，行三跪九叩礼退班。”1912年以来，寺内房舍逐渐拆除改建。后置舞阳县开元高级中学于此，1948年为豫西行政干校。1950年县中学师范部。1956年县机械厂迁此，今为该厂家属院。