Le collège universitaire, aussi appelé l’académie, voit débuter sa construction le 2 juin 1598. Le prince Frédéric, comte de Montbéliard et duc de Wurtemberg, le fait construire afin de transmettre un enseignement luthérien aux immigrants calvinistes qui souhaitaient s’établir dans le nouveau quartier. Ce collège s’adressait également aux futurs pasteurs de la religion Luthérienne. C’est Heinrich Schickhardt, architecte allemand, qui est chargé de la construction, dans le cadre plus large de réalisation du quartier de la Neuve Ville. Le bâtiment prenait place sur une hauteur au cœur du quartier. Il est achevé vers 1607. Le collège présentait un plan carré, composé de deux grandes ailes situées sur les côtés nord et ouest et de deux petites galeries en bois, qui étaient ouvertes sur la cour intérieure. Lorsque sa construction fut achevée, le collège occupait tout l’emplacement de l’actuelle église Saint-Maimbœuf.

Le collège n’ouvrit réellement ses portes aux étudiants qu’à partir de 1670, soit plus de 60 ans après son achèvement. La mort du comte en 1608 plongea le collège dans l’oubli, ses successeurs ayant d’autres préoccupations en raison de la guerre de Trente ans. Montbéliard subit en effet de nombreuses famines et épidémies jusqu’à la fin de la guerre en 1648. Le comte Léopold-Frédéric, exilé en Suisse, ne revint à Montbéliard qu’en 1651.

Le calcul, la lecture, la théologie, les langues mortes, la rhétorique, l’astronomie, la physique, l’histoire, le droit ou encore la médecine étaient enseignés aux futurs instructeurs et pasteurs de la principauté, filles ou garçons. Le collège aurait également eu une mission linguistique, mettant en relation quelques jeunes allemands et des jeunes Montbéliardais, de tradition française. Une bourse était accordée à six étudiants du pays de Montbéliard et à quatre  des seigneuries de Horbourg et de Riquewihr.

Cependant, l’activité de l’académie fut de courte durée, car Montbéliard fut envahie par la France et le collège cessa tout enseignement en 1677. Il fut transformé à cette occasion en chapelle catholique, hébergeant des moines capucins. A partir de ce moment, il devint le principal centre du christianisme à Montbéliard, jusqu’à la destruction, en 1852, des ailes sud, est et ouest pour laisser place à la nouvelle église Saint-Maimbœuf. Une moitié de l’aile nord fut détruite en 1932, afin de permettre la construction d’un gymnase. Aujourd’hui, il ne reste de l’ancien collège qu’une moitié de son aile nord, accueillant le presbytère de l’église Saint-Maimbœuf.