Wanneer mensen niet meer in staat waren tot het verrichten van arbeid, vielen veelal de inkomsten weg. In de meeste gevallen trof dit ouderen of invaliden en zij waren in eerste instantie aangewezen op de zorg van familieleden. Wanneer deze kring ontbrak, of wanneer ook de familie niet in staat was de zorg op zich te nemen, werd deze taak overgenomen door kerkelijke of particuliere liefdadige instellingen.
Wanneer armen niet aan een kerk waren verbonden en niet konden terugvallen op particuliere instellingen, werden ze ondersteund door de ‘Heilige Geest’ of de ‘Algemene armen’, instellingen die in vrijwel elke plaats bestonden. Zoals de naam al aangeeft was deze instelling bedoeld voor ondersteuning van alle armen.
Ook de armenzorg in Hazerswoude bestond uit verschillende componenten. De diakonie van de Gereformeerde kerk (de latere Hervormde gemeente) bedeelde de kerkelijke armen en ook de Rooms-katholieke statie, later parochie, droeg zorg voor de eigen armen. Ook de Remonstrantse gemeenschap ondersteunde de eigen behoeftigen. Tenslotte was er nog de armenzorg door de Heilige Geest, die in combinatie met Alphen en Aarlanderveen plaatsvond. Deze gecombineerde administratie had een weeshuis in Alphen in gezamenlijk eigendom.
De gecombineerde Hazerswoudse-Alphense-Aarlanderveense armenzorg kan als voorloper worden gezien van het latere Burgerlijk Armbestuur van Hazerswoude. Aan deze gezamenlijke armenzorg kwam echter in het begin van de negentiende eeuw een einde. Op 31 december 1830 hield de gecombineerde administratie op te bestaan en zorgde elke gemeente afzonderlijk voor de ‘algemene’ armen. Het opheffen van de gezamenlijke zorg was slechts de administratieve afwerking van een proces dat al eerder was begonnen.

Al in januari 1829 werd door de Hazerswoude gemeenteraad een reglement voor het Algemeen armbestuur vastgesteld. De instelling bestond echter al eerder en bovendien bestond op dat moment ook al een ‘eigen’ armhuis, dus gelijktijdig met het gezamenlijke weeshuis in Alphen. Het Algemeen armbestuur van Hazerswoude bestond uit vijf leden en een boekhouder. Drie bestuursleden woonden in Hazerswoude-Dorp en van hen moesten er twee een protestantse godsdienst belijden en één de rooms-katholieke. Twee bestuursleden woonden aan de Rijndijk; één was protestant, de ander rooms-katholiek. Door de spreiding over beide gedeelten van Hazerswoude en over de godsdiensten werd de algemeenheid van het armbestuur vormgegeven.
Het bestuur had het ‘beheer’ over de huiszittende armen en over het armhuis. Het beheren van het armhuis gebeurde in samenwerking met de burgemeester en assessoren van Hazerswoude. Voor de dagelijkse gang van zaken in het armhuis waren een ‘vader’ en ‘moeder’ aangesteld. In februari 1829 werden in die functie benoemd Cornelis Smit, tot dan schoenmaker te Bodegraven, en zijn echtgenote. Hij was hervormd en zij rooms-katholiek, weer een illustratie van het algemene karakter van het armhuis.