La storia dell'antico edificio comprende successivamente, come per la chiesa, un periodo florido ed un altro più difficile.

Con la costante occupazione del castello per tre secoli da parte della famiglia degli Angennes (1384 - 1699), poi dei Fleuriau d'Armenonville, la chiesa subì alcune trasformazioni rese necessarie sia dall'obbligo di provvedere alla cronica manutenzione sia dalla necessità di tener conto il progressivo aumento dei fedeli.

Il presbiterio, dapprima solo una costruzione ridotta sul retro della chiesa, subì a sua volta questo sviluppo.
Una rendita di 1 sterline datagli dal conte di Tolosa permise al curato di Rambouillet di diventare uno dei più ricchi della diocesi di Chartres.

La superficie del terreno di forma irregolare corrispondeva a quasi 52 are, costituiti da un grande podere rurale con frutteto, orto e pergolato. Come attualmente indicato, sopra la porta d'ingresso, questo edificio fu il presbiterio dell'antica chiesa di Saint-Lubin fino al 1789.

Il 16 luglio 1796 avvenne la vendita della vecchia struttura con cortile, giardino e annessi per 144 F. Fu il signor Pillois ad acquistare questa proprietà, ma ebbe presto qualche problema con i membri della parrocchia.

Questo edificio risalente al XVIII secolo, divenuto locanda dopo la Rivoluzione, fu poi trasformato in collegio nella seconda metà dell'Ottocento. Successivamente è stato successivamente utilizzato da diverse aziende.