Het klooster van Sint-Agnes werd volgens overlevering gesticht in 1326 door Walpurgis, een Noorse edele, die zich in dat jaar te Dordrecht vestigde. Een stichtingsoorkonde is helaas niet bekend, zodat de juistheid van dit gegeven niet is vast te stellen. In een manuscript dat bekend staat als de Beschrijving van Dordrecht. van Van Someren worden echter de namen van de nonnen sinds 1338 genoemd, zodat een groot verschil met het genoemde stichtingsjaar niet aannemelijk is. Het klooster ontleende zijn naam aan de heilige Agnes, een tijdens de christenvervolging in het oude Rome onthoofde vrome maagd. Hertog Jan van Beieren gaf de jonckvrouwen ende susteren van den derder oorden in Dordrecht in 1421 toestemming tot de bouw van een klooster van de Augustijner orde. Twee jaar later schonk hij honderd gulden voor de opbouw *  . Het kloostercomplex strekte zich uit van het Steegoversloot tot de Korte Nieuwstraat, tussen de Nonnen-, later Lindengracht, nu Museumstraat en de Vest. Voor het gereedkomen van het klooster woonden de nonnen vermoedelijk bijeen in een ander gebouw. Het klooster sloot zich omstreeks 1426 aan bij het kapittel van Windesheim, gesticht in 1387, waar het onder andere in 1430 vermeld wordt. In 1426 had de wijding van de kloosterkerk plaats door Henricus, bisschop van Rosa.

Omtrent de inrichting van het klooster is het een en ander bekend. Er was een groothuis voor de nonnen, een patershuis met biechthuis, een materskamer, een ziekhuis, een keuken, een brouwhuis en tuinen voor de nonnen en voor de pater. Het klooster werd bestuurd door een mater of priorin, gekozen door de nonnen, die bijgestaan werd door een pater. De nonnen die gekleed gingen in witte pijen en daarom ook wel witte nonnen werden genoemd, legden bij hun professie de volgende gelofte af: Ick suster N. love voer God ende allen heyligen, in teghenwoerdicheyt des priors ende ons rectoers stantachticheyt in desen cloester, dat ghesticht is in der eeren der salichster maghet Agniete, ewige reynicheyt mijns lichaems, derven eyghen guets ende ghehoersaemheyt onser priorinnen ende haare rechte nacomelingen, na Sinte Augustijns regel ende ghemeen insettinge ons generaelscapittels. *  Het klooster was rijk aan bezittingen. Tal van aanzienlijke dames vestigden zich in het klooster. Na de intreding volgde een proeftijd, maar wanneer deze voorbij was en men professie had gedaan, verviel het ingebrachte geld en goed aan het klooster. De bezittingen werden nog uitgebreid door erfenissen en schenkingen van zowel wereldlijke als geestelijke heren. Slechts bij uitzondering werd om Gods wil een meisje uit de niet gegoede stand opgenomen. Zij werd dan werknon in tegenstelling met de aanzienlijke dames, die zich bezighielden met weven, spinnen, garen bleken en schrijven.

Door de rijkdom van het klooster bestond er geen directe noodzaak tot het verrichten van arbeid. De inkomsten uit arbeid zijn dan ook gering. In 1481 werd zelfs gemeld dat er drie jaar lang niet voor de verkoop geweven is *  . Een belangrijke bron van inkomsten was het verpachten van land. Het klooster bezat onder andere land in Heer Oudelandsambacht, Hendrik-Ido-Ambacht, Mijnsheerenland en Heinenoord. De gunstige financiële situatie maakte tal van verbouwingen mogelijk. In 1499 werd begonnen met de vernieuwing van de kerk. Bij het graafwerk werd een Mariabeeldje gevonden waaraan later bijzondere krachten werden toegeschreven. Het klooster werd in 1500 begunstigd, doordat er aflaten toegekend werden aan hen die de kerk bezochten en bijdroegen in de bouwkosten *  . In 1475 werd het gehele kloosterterrein opgehoogd met grond verkregen door uitbaggering van de stadsgracht. Ook werd toen de houten schutting opgetrokken, omdat die stede den wech buten ghehoghet had, dat men ons sien mocht *  . In de periode dat Lijsbet Gerijts Omersdr. priorin was, van 1493 - 1526, vonden verder plaats die tymmering tot die brouhuys, die muer an de vesten, patershuys beyddie schyfhuys, voer ende after, ende biechthuys after die kercpant ende materscamer ghestoelt int choer ende die monstrancy *  .

Inmiddels was de welvaart echter wel wat verminderd. De Bourgondische vorsten hadden geld nodig voor hun kostbare oorlogen en voerden daarom belasting in op het kerkelijk bezit. De verontwaardiging was zeer groot. In een aantekening over 1475 lezen wij Item in dit jaer is een sonderlinghe ghebot ghedaen op allen gheesteliken cloesteren, kerken ende alrehande priesteren, van den hartoghe van Burgoendien, dat welke nye ghehoert en is, als dat hi heeft willen hebben drie jaer renten van elken cloester, om welke veel commers, onleden ende reysen tot menigherhande plaetsen ende steden ghesciet sijn van der gheestelicheit ende clergye. Ende men en heeft hem daer niet of moghen brenghen, hi en heeft se ghescict of gheset, die daerop vervolcht hebben met gheboden, met dreyginghe ende oec met ghewelt te nemen van enighen cloesteren. Aldus heeft een ygheliken moeten overleveren in den Haghe alle die erfgoederen ende lijfrenten di si binnen LX jaer vercreghen hebben, om hem een jaer rente daerof te betalen of te verwachten, dat hem alle haer goeden mit ghewelt ghenomen souden worden. * 

Toen Dordrecht in 1572 de zijde van de prins koos, betekende dat het einde van het klooster. Het kloostercomplex kwam in handen van de stad, de overige kloosterbezittingen gingen naar de Staten. Een aantal nonnen vertrok. Met name genoemd worden Anna en Margaretha van Boshuijzen, die naar Brabant zouden zijn uitgeweken. *  De in Dordrecht achtergebleven nonnen, in 1573 wordt een aantal van 21 genoemd, kregen voor hun leven een vaste uitkering, zodat zij in hun onderhoud konden voorzien. *  In 1574 droeg het stadsbestuur het klooster over aan de Heilige Geestmeesters ter Grote Kerk. Aan de vestiging van het Heilige Geest- en Pesthuis ter Grote Kerk in het klooster ging nog heel wat opknap- en verbouwwerk vooraf. Er was tenminste sprake van gebouwen die in den turbel doer de soldaten zeer verdestrueerd gescapen zijn geheel ende al tot ruyne. *  .

Op 16 maart 1592 besloten de Staten het verzoek van de Heilige Geestmeesters ter Grote Kerk om de beschikking te krijgen over de geconfisceerde kloostergoederen in te willigen. Het Heilige Geest- en Pesthuis ter Grote Kerk verkeerde namelijk in grote financiële moeilijkheden, doordat mede deur d' oorloege, devastatie, inundatie ofte deursteeckinge van dijcken ende 't langduerich ongebruyck van d' omleggende landen mitsgaders de menichfuldige duertochten van den soldaten met huere huysvrouwen ende kinderen deur ende voorbij de voors. stadt Dordrecht de Heylige Geestkinderen zoo zeer waaren vermenichfuldicht datter jegenwoordich wel tnegentigh kinderen zijn tot lasten van de thoonders. *  De rekeningen van de ontvangsten en uitgaven van de geconfisceerde kloostergoederen werden voortaan opgesteld door de rentmeester van het Heilige Geest- en Pesthuis ter Grote Kerk en afgehoord door de regenten. Na 1607 / 1608 werden er door de rentmeester geen aparte rekeningen meer opgesteld, maar werden de inkomsten en uitgaven van de geconfisceerde kloostergoederen verantwoord in de rekeningen van het Heilige Geest- en Pesthuis ter Grote Kerk.