Op door ridder Johan ten Orthen bij testament daartoe bestemde grond werd in 1409 in de Triniteitsstraat in ‘s-Hertogenbosch een huis van zusters des gemenen levens gesticht. In 1423 werd dit huis, dat de naam Ten Orthen kreeg, verplaatst naar de Hinthamerstraat. Jan van Heinsberg, prins-bisschop van Luik, stond in 1434 de zusters een eigen kapel toe. Deze kapel werd toegewijd aan St. Andries en aan St. Agnes, die ook de patroonheilige van het zusterhuis was. De zusters voorzagen met het weven van linnen in hun levensonderhoud. Hiermee traden zij in concurrentie met de linnenwevers in de stad. Dit nam zulke vormen aan dat de Bossche magistraat de zusters het weven verbood. Om dit verbod te omzeilen, betrok in 1435 een groot deel van de zusters een huis in Vught, om daar de linnenweverij voort te zetten. Dit huis bleef met het huis in ’s-Hertogenbosch één gemeenschap vormen. In 1444 vestigden zich ook fraters bij het huis in ’s-Hertogenbosch. Er werd toen gesproken van een dubbelklooster. Dit behoeft evenwel enige nuancering, alleen al vanwege het feit dat, doordat de zusters en ook de fraters geen kloostergeloften aflegden, er van kloosterlingen geen sprake was. Bovendien leefden de zusters en de fraters, die elk hun eigen statuten hadden, in van elkaar gescheiden gebouwen. Alleen van de kapel maakten ze gezamenlijk gebruik. In 1473 wilde de gemeenschap in Vught zich van die in ’s-Hertogenbosch afscheiden. De zusters in Vught werden toen naar ’s-Hertogenbosch teruggeroepen. Hun huis werd nog hetzelfde jaar verkocht aan de kartuizers, die er de kartuize Sint-Sophia vestigden. Toen in 1629 Frederik Hendrik ’s-Hertogenbosch innam, moesten de mannelijke kloosterlingen, waartoe ook de fraters gerekend werden, terstond de stad verlaten. De zusters mochten in hun huis blijven wonen, maar waren, doordat zij geen nieuwe zusters meer mochten aannemen, tot uitsterven gedoemd. De kloostergebouwen raakten in verval en vielen uiteindelijk fasegewijze aan de sloophamer ten offer

In 1955 lieten de zusters een nieuw klooster bouwen in 's-Hertogenbosch. De zusters gaven les op de kleuterscholen en lagere scholen in de omgeving, hoofdzakelijk de scholen van de parochies "De Bartjes" en de parochie van de HH. Harten. De zusters vertrokken in 2002 naar het bejaardenoord St. Jozefoord te Nuland. Het klooster werd in 2002 verkocht aan de Paters van de HH. Harten.