Jusqu’en 1907, les bâtiments de l’école maternelle et primaire Saint-Hilaire faisaient partie d’un ensemble d’immeubles occupés par la Congrégation des Dames du Sacré-Cœur.  Parmi eux se trouvait l’hôtel de Brémond – aujourd’hui école maternelle et primaire- édifiée à la fin du XVIIIème siècle. Un grand jardin en terrasse s’étendait jusqu’à l’actuelle rue de Verdun.
Le 7 juillet 1904, la loi sur les congrégations religieuses entraina la fermeture des écoles religieuses en France. Le 9 juillet, par application de cette loi, la maison des sœurs fut fermée. On procéda à l’adjudication de l’ensemble des immeubles. M. Anselme de Belleville acheta la propriété et l’occupa jusqu’en 1923. A cette date, la propriété fut vendue au profil d’une association : L’association immobilière niortaise.

Au cours de la deuxième guerre mondiale, l’armée allemande occupa les lieux. A son départ, les F.F.I. s’y installèrent. Ils y restèrent de septembre 1944 à octobre 1945.

C’est seulement en 1952, que le viel hôtel de Brémond, redevint une école. Les classes primaires, installées au 30, rue Basse, furent transférées au 19, rue du Petit Banc, sous la direction de M. Thomazeau, professeur au collège. Le « Petit Collège » était né. Depuis 1992, il est appelé « École maternelle et primaire Saint-Hilaire »