Op grond van de Armenwet van 1854 werden gemeentelijke instellingen ingesteld met de naam Burgerlijk Armbestuur. Deze instelling moest de armen steunen, die geen bedeling ontvingen van andere instellingen. Het Burgerlijk Armbestuur werd daarmee in veel plaatsen, ook in Hazerswoude, de voortzetting van het Algemeen Armbestuur.
Het Burgerlijk Armbestuur was geen gemeentelijke instelling. De Armenwet van 1854 was zelfs bedoeld om het Burgerlijk Armbestuur meer vrijheid en zelfstandigheid tegenover de gemeenten te geven. Het bestuur werd overigens wel geheel of gedeeltelijk door burgemeester en wethouders benoemd.
De Burgerlijke Armbesturen bleven in de meeste gevallen werkzaam tot in de twintigste eeuw, om daarna te worden opgevolgd door de gemeentelijke sociale diensten. In Hazerswoude kwam er echter een voortijdig einde aan het Burgerlijk Armbestuur in 1872. In september van dat jaar werd door de gemeenteraad de begroting voor 1873 voor het Burgerlijk Armbestuur vastgesteld en ter goedkeuring aan Gedeputeerde Staten van Zuid-Holland verzonden. Nog dezelfde maand reageerde Gedeputeerde Staten. Uit de begroting bleek dat de armen van Hazerswoude, behoudens een enkele uitzondering, werden bedeeld door de kerkelijke instellingen. Daarom adviseerde Gedeputeerde Staten het Burgerlijk Armbestuur op te heffen. Op 1 oktober werd ‘na rijpe deliberatie’ door de gemeenteraad besloten om het Burgerlijk Armbestuur per 31 december van dat jaar op te heffen. Het batig saldo van 2.661,70 gulden werd overgedragen aan de gemeente Hazerswoude.