Hendrick van Bentinck, heer van Limbricht, kocht indertijd aan de Plakstraat in Sittard de "Oude Voogdij", dat tot woning voor de stadsvoogd gediend had. Hij liet dit huis als klooster inrichten, waar gedurende korte tijd ursulinen verbleven. Door toedoen van de Sittardse dominicanen vestigden in 1649 drie dominicanessen, afkomstig uit het klooster Engeledale te Brugge, zich in dit klooster, dat ze naar de Heilige Agnes de Montepulciano “Sint Agnetenberg” noemde. Aanvankelijk hielden de zusters zich bezig met het vervaardigen van waskaarsen en hosties. Later legden zij zich toe op het geven van onderwijs. Ze hadden een school “binnen het slot” voor meisjes uit de hogere stand en een school “buyten het slot” voor meisjes uit de stad en dorpen in de omgeving. In 1655 kochten de zusters het belendend huis van de heren Dobbelstein, het zogenoemde “Dobbelsteinhuis”, dat al in de dertiger jaren verwoest was. Daarmee verwierven de zusters een groot stuk grond. Hier lieten de zusters in carré-vorm een nieuw klooster bouwen, waarvan in 1663 drie van de vier zijden gereed waren. Toen in het rampjaar 1677 Franse troepen Sittard binnentrokken werd Agnetenberg door plunderende soldaten verwoest. De zusters vonden toen onderdak bij familie en vrienden. Na de in 1678 gesloten Vrede van Nijmegen, die een einde maakte aan de jarenlange oorlog tussen de Republiek en Frankrijk, keerden ze terug en werd er met de herbouw van hun klooster begonnen. In 1702 kwam als laatste van de vier zijde van het carré-vormig klooster, de aan St. Agnes toegewijde kloosterkerk gereed, die in dezelfde stijl werd ingericht als de van het kloostercomplex van Sittardse dominicanen deel uitmakende St. Michaëlskerk. In 1794 namen Franse revolutionaire troepen de macht over en ging Sittard deel uitmaken van de nieuwe Franse republiek. Toen de zusters weigerden de eed op de Franse grondwet af te leggen, werden ze in 1802 uit Sittard verbannen. Hun geconfisqueerd klooster werd toen gekocht door het Armbestuur