Aussitôt après le legs il est décidé de construire un nouveau bâtiment [[rue de la Montagne Sainte-Geneviève]] pour abriter le collège.
Supprimé à la Révolution, c'est dans ces locaux, ainsi que dans ceux du [[collège de BoncourtBoncour]], que s'installe l'École Polytechnique en 1804. Les bâtiments ont été grandement démolis au XIX{{e}} siècle, l'entrée en 1811, le bâtiment médiéval de la bibliothèque, en 1875.
C'est à l'intérieur de ce collège que se trouvait la [[fontaine du collège de Navarre]].