商丘师范学院具有悠久的办学历史和浓郁的文化底蕴。1905年，在中国封建教育向现代教育嬗变进程中，位于归德府城东门里路北，渊源于北宋四大书院之首——“应天府书院”的“范文正公讲院”改建为“归德府中学堂”，是为商丘师范学院之前身。
新中国成立之前，归德府中学堂曾多次更名。1958年曾创办商丘大学，1975年曾创办商丘师范学院，1977年恢复高考后，在商丘师范学校附设“商丘师范大专班”。1981年7月，经国务院批准设立商丘师范专科学校。1992年4月，学校更名为商丘师范高等专科学校。2000年3月，商丘师范高等专科学校与商丘教育学院合并成立了新的商丘师范学院,成为商丘唯一一所省属普通本科院校。2004年取得学士学位授予权。