Op 8 februari 1806 stelde de gecombineerde vergadering van de municipaliteit en het comité van Algemeen Welzijn een plan van armbestuur vast, waarbij de Algemene Armenkamer werd opgericht, bestaande uit afgevaardigden van Gereformeerde, Katholieke, Lutherse en Doopsgezinde gemeenten, enige personen uit de burgerij en twee leden van de municipaliteit. Deze Algemene Armenkamer was in drie commissies verdeeld:
De commissie tot de armenschool
De commissie tot het armenwerk
De commissie tot ontvangst der gelden.
Gedurende de eerste tien jaar werd aan de kinderen van de Armenschool naai- en breiwerk bezorgd (zie ook archief van de School voor Nuttige Handwerken)
Toen in 1806 bijna alle plaatselijke wolspinnerijen waren gesloten, besloot de Algemene Armenkamer een fabriek op te richten voor het maken van wollen kousen, sokken voor militairen, handschoenen enz., om daardoor aan armen werk te verschaffen, met behulp van het stadsbestuur het bedelen tegen te gaan en de lasten van de diverse armbesturen te verlichten. De Armenfabriek kwam onder het bestuur van de Commissie tot het Armenwerk. Het benodigde geld werd verkregen door een lening, terwijl de Algemene Armenkamer een subsidie gaf.
In 1812 besloot de raad van Deventer een jaarlijkse subsidie van f 1000. tot instandhouding en uitbreiding van de fabriek toe te kennen. De subsidie werd soms verminderd, dan weer op het vastgestelde bedrag teruggebracht en soms geheel niet uitgekeerd. Na 1863 werd de subsidie niet meer verleend.

De fabriek werd uitsluitend gedreven voor rekening der Algemene Armenkamer. Om geen nadeel te berokkenen aan de wolspinnersbazen, mandemakers en anderen, werden geen hogere lonen uitbetaald dan de aan arbeid geholpenen tevoren hadden genoten.
De invoering van de Armenwet van 28 juni 1854 is hoofdzakelijk van invloed geweest op de wijziging in de uitwendige organisatie van de fabriek. De Algemene Armenkamer werd opgeheven. De Armenfabriek werd toen een zelfstandige instelling en van een reglement voorzien. Dit reglement werd in 1877 door een nieuw reglement van bestuur vervangen, dat echter in 1879 bij raadsbesluit van 24 november weer plaats heeft gemaakt voor het reglement van administratie voor de Armenfabriek en het Burgerlijk Armbestuur.
De zaken der Armenfabriek gingen in het begin heel goed en de goederen vonden gretig aftrek. Uit een verslag over 1839 blijkt, dat de fabriek een tijd van bloei doormaakte. Aan 300 tot 400 personen werd een bedrag van f 10.000 uitgekeerd. Het werk bestond in hoofdzaak in het prepareren van de wol, het spinnen, het breien van sokken, kousen en slaapmutsen voor het leger en de schutterij.
Vanaf 1868 was de fabriek minder fortuinlijk. Er kwamen hoe langer hoe minder bestellingen binnen. De voortdurende achteruitgang tot 1890 was gedeeltelijk een gevolg van wijzigingen in de textielindustrie. Het handwerk kon niet meer concurreren met de machine. Toen bovendien de voornaamste afnemer, het ministerie van Oorlog, hogere eisen ging stellen aan de te leveren goederen met het gevolg dat meer arbeidsloon moest worden betaald en de prijs van de kousen steeds meer daalde, besloot de raad op 20 augustus 1891 de fabriek te sluiten met ingang van 1 januari 1892, omdat anders verliezen dreigden.
Hierbij kwam dat het aantal personen in de fabriek werkzaam, steeds minder werd als gevolg van de toenemende industrialisatie. De Armenfabriek was uit de tijd.

Terrein en gebouw van de Armenfabriek op de hoek van het Noordenbergschild en de Meelbrug werden bij raadsbesluit van 4 juni 1894 door de gemeente aangekocht om daar de gemeentewerf te vestigen.
Met goedkeuring van Gedeputeerde Staten werd het kapitaal groot f 15000 onder de naam Fonds der opgeheven Armenfabriek in stand gehouden en aan het burgerlijk armbestuur overgedragen.
De vrijkomende inkomsten waren voor de armen volgens raadsbesluit van 25 januari 1892. Tengevolge hiervan werden de rekeningen en begrotingen nog tot 1939 bijgehouden.