明代初建，时为都察院，清康熙五十一年（1712）改辟为学使校士馆，又称考院，俗称考棚。

上世纪20年代成为学校图书馆。1925年下半年中共上级组织派杨荫鸿、张观成以学生的身份来校活动，与时任图书管理员的中共党员辛成智接上关系，三人建立起临时性的党组织，组织进步青年学生开展党的活动。1926年夏天，鲁西南第一个党组织“中共山东省立二师支部”在此诞生，成为整个苏北、豫东、鲁西、鲁南的革命火烛。

1985年11月8日，时任国务院带总理的万里回到阔别50年的母校，在此召开了师范教育座谈会。次月，为母校寄来题词“培养优秀的文化与道德的播种师”。