De zorg voor zieken en ouden van dagen heeft de mens altijd al bezig gehouden, enerzijds om het leed dat ziekte en ouderdom met zich meebrachten te verzachten, anderzijds om te voorkomen dat ziekten zich zouden uitbreiden en de vorm van een epidemie zouden aannemen. De parochie van de Onze lieve vrouwe- of Grote Kerk beschikte al vanaf het begin van de 14e eeuw *  over een instelling die deze taak op zich had genomen, namelijk het Heilige geest- en pesthuis ter Grote Kerk. Deze had aanvankelijk de zorg voor een twaalf tot veertien arme weeskinderen en voor mensen die door de pest besmet waren. Het gebouw van deze instelling stond in de Vriesestraat, maar de wezen werden veelal uitbesteed aan particulieren. De inkomsten bestonden vooral uit giften van de rijkere parochianen. Later kwamen deze vooral voort uit de pacht en huur van roerende en onroerende goederen die in de loop der jaren in het bezit van het Heilige geest- en pesthuis gekomen waren, vaak uit erfenissen van verpleegden of hun familieleden *  .

In de loop der tijd had het aantal wezen zich door oorlog en ziekte uitgebreid tot circa 100. In 1572 kwamen alle bezittingen van het Cellebroedersklooster aan het Heilige Geest- en Pesthuis en hiermee ook de bewoners: pestlijders en Cellebroeders die hun verzorging op zich hadden genomen. In hetzelfde jaar werd ook de bevolking van het Leprooshuis onder toezicht van het Heilige geest- en pesthuis gesteld: melaatsen en krankzinnigen. Het bleek al gauw dat het gebouw in de Vriesestraat te klein geworden was. Daarom vroegen de heilige geest- en pesthuismeesters in 1574 aan de Staten van Holland toestemming om zich in het voormalige Agnietenklooster aan de Linden- gracht *  te mogen vestigen.

Gezien de slechte huisvesting en het toenemend aantal bewoners werd dit verzoek ingewilligd op voorwaarde dat het oude gebouw aan de stad zou komen om te dienen als verblijf voor de melaatsen en krankzinnigen uit het voormalige Leprooshuis *  . De gebouwen van het Agnietenklooster waren echter in zo'n slechte staat dat het tot 1579 duurde eer de verbouwing voltooid was. Sindsdien kon men spreken van een weeshuis aan de Lindengracht en een pesthuis aan de Vest, waarvan de gebouwen aan elkaar grensden. Boven de toegangspoort stond Domus spiritus sancti, numine corda regat, qui sacrat nomine, large, munera dent dites, Deus uberiora rependet *  . Door J. Oudaan is dit vertaald als volgt 't Heilig geesthuis, het hert gevoel de kracht, daar 't huis de naam van speld, de rijke geve mild, 't geen milder God vergeld.

In 1580 opperde de Oudraad *  het plan om bij het wees- en pesthuis huisjes voor krankzinnigen te plaatsen welke onder toezicht zouden komen van de heilige geestmeesters. Hiertegen werd heftig geprotesteerd en na veel heen en weer gepraat werd besloten dat de heilige geestmeesters afstand zouden doen van de enkele jaren terug verkregen goederen van het Cellebroedersklooster in ruil voor vrijstelling van krankzinnigenverpleging *  . Door het verlies van deze goederen, de grote onkosten van de verbouwing, het verminderen van de inkomsten en het nog steeds toenemend aantal weeskinderen, vooral van soldaten *  , was de financiële toestand van het Heilige geest- en pesthuis zeer slecht geworden.

De heilige geest- en pesthuismeesters dienden nu een verzoekschrift in bij de Staten van Holland om ook nog de inkomsten van het Agnietenklooster te mogen aanvaarden. Op voorwaarde dat de achttien nog aanwezige nonnen voor de rest van hun leven door het Heilige geest- en pesthuis onderhouden zouden worden, werd dit verzoek ingewilligd *  . Vanaf dat moment was de voornaamste taak van het Heilige geest- en pesthuis het onderhouden en opvoeden van een honderdtal weeskinderen die allen bij het verlaten van het huis een uitzet kregen. Ze gingen gekleed in een staalblauw uniform hetgeen ze de bijnaam blauwkinderen en het huis de bijnaam blauwhuis bezorgde *  .

Er werd ook gedacht aan de armen: zes maal per jaar werden er 350 proven *  uitgedeeld, namelijk de proven van vastelavond, Paaschen, Pinxteren, Kermis ofte ommegange, Sint-Maarten en Korsmis. Elke prove bestond uit vier en een half pond vlees, een brood van een pond en een stuiver aan geld *  . Tegen het midden van de 18e eeuw waren er wederom maatregelen nodig ter verbetering van de financiële toestand. De stad moest namelijk steeds de tekorten, inmiddels opgelopen tot ? 16.000, betalen. Het eerste waar de Oudraad aan dacht was het invoeren van een extra belasting en wel één duit op ieder tarwebrood. Kort hierop echter besloot dezelfde Oudraad om in de gebouwen aan de Lindengracht het nieuw op te richten Stads krankzinnig- en beterhuis te vestigen, zodat voor de bevolking van het Heilige geest- en pesthuis een nieuw onderkomen moest worden gezocht. Zo verhuisden vanaf 1759 de wezen afhankelijk van het wel of niet in het bezit zijn van het burgerschap naar het arm- of weeshuis *  .

Voor de lijders aan de pest werd geen aparte regeling getroffen, aangezien deze ziekte sinds 1666 nog maar zeer sporadisch voorkwam. De instelling bleef verder gewoon bestaan. De wezen kregen financiële steun en droegen nog steeds de blauwe kleding, de armen ontvingen hun proven en de regenten bleven vergaderen. Bovendien werden ze belast met een jaarlijkse uitkering van ? 5.000 aan het Stads krankzinnig- en beterhuis. Het duurde tot 1810 voordat de bezittingen van het voormalige Leprooshuis, het Heilige geest- en pesthuis en het Stads krankzinnig- en beterhuis met elkaar verenigd werden *  . De regenten hielden toen ook op met vergaderen en in 1816 werden de proven afgekocht. Hiermee kwam een einde aan deze liefdadigheidsinstelling.