“Achter het stadhuis”, ongeveer tegenover de plaats, waar eertijds het stadsarchief gevestigd was, stond het eerste refugiehuis, dat de norbertijnen van Berne in 's-Hertogenbosch hadden en waarvan de stichting tot de veertiende eeuw teruggaat. Nadat dit huis verkocht was, werd in de Sint-Jorisstraat, een nieuw refugiehuis verworven, waar naar toe de abt en het convent de wijk namen toen in 1572 de abdijgebouwen in Berne geplunderd en zeven jaar later in brand gestoken werden. Om binnen de stad 's-Hertogenbosch de abdij als kloostergemeenschap te verplaatsen, wist de laatste abt die in het huis in de Sint-Jorisstraat gewoond heeft, het Sint Gregoriushuis, dat in de volksmond het Rijke Fraterhuis genoemd werd, van de Broeders van het Gemene Leven te verwerven. In 1623 nam het convent zijn intrek in dit huis, dat aan de noordzijde van de Hinthamerstraat lag tegenover de plaats, waar nu de Sint-Jacobskerk staat. Dit echter slechts voor korte tijd. Toen Frederik Hendrik in 1629 's-Hertogenbosch innam, werden de norbertijnen uit de stad verbannen