In de 14e en 15e eeuw kwamen in Zwolle verscheidene fraterniteiten of broederschappen tot stand, waarvan de leden elkaar steunden bij ziekte of in andere moeilijke omstandigheden. Deze verenigingen stelden zich onder het patronaat van een heilige; rondom het altaar, gewijd aan die heilige, vonden diverse activiteiten van de broederschappen plaats, zoals het opdragen van missen voor gestorven leden. Bij het altaar werden ook de liefdegaven uitgedeeld aan de armen van de stad, de z.g. huiszittende armen. Deze huiszittende- of "huisarmen" werden onderscheiden van rondtrekkende langs de deuren bedelende armen en van de armen die verzorgd werden in gasthuizen. Eén van deze broederschappen, "De heilige kruis broederschap" in de St. Michaëlskerk, is zeer belangrijk geweest voor wat betreft de armenzorg. Het ontstaan van deze vereniging is te danken aan het testament van Dirk Baartscheerre. Door de uitvoerders van zijn uiterste wilsbeschikking werd op woensdag na St. Maarten (18 nov) 1472 een officium gesticht, d.w.z. een schenking gedaan op het altaar van het Heilige kruis in de St. Michaëlskerk, waaruit jaarlijks een memorie-dienst betaald moest worden ter nagedachtenis aan Dirk en zijn naaste bloedverwanten. De aanstelling van de priester, ter uitvoering van deze bepaling, was een zaak voor schepenen en raad; zij kregen zodoende het collatierecht.

De uitvoerders van het testament stichtten te zelfder tijd, met toestemming van de pastoor, schepenen en raad, uit dezelfde nalatenschap "De heilige kruis broederschap". Door het collatierecht had de stedelijke overheid een grote invloed op deze vereniging. In 1535 werd bij resolutie van schepenen en raad een nieuwe regeling voor deze broederschap vastgesteld die ingrijpend was: de armbedeling ervan werd geplaatst onder een afzonderlijk bestuur, te benoemen door schepenen en raad. Het beheer van de inkomsten van de broederschap kwam in handen van een "camerschrijver", een stedelijk ambtenaar, die op elk gewenst moment verantwoording af moest leggen aan schepenen en raad. Hiermee ontstond feitelijk een aparte, door de stedelijke overheid geregelde armbedeling. In de stukken wordt deze instelling meestal genoemd als de "huisarmen".

Naast de bedeling door de provisoren van de "huisarmen" bleef ook de bedeling bestaan door de overige broederschappen; tot 1581, toen de gereformeerden in Zwolle de overhand kregen. De broederschappen vielen toen uiteen. Het gevolg daarvan was dat de bedeling van de armen niet meer naar behoren funktioneerde. Schepenen, raad en gezworen gemeente besloten daarom op 26 december 1581 een college van acht armverzorgers, Eleëmosenieren genaamd, aan te stellen. Voor elk van de vier wijken van de stad werden twee eleëmosenieren belast met de praktische armenzorg. Voor de bedeling konden zij gebruik maken van de inkomsten van de vroegere broederschappen. Bovendien moesten zij elk kwartaal een collecte langs de huisdeuren doen. De goederen en de renten van de broederschappen zijn gevoegd bij de goederen en de renten van "De heilige kruis broederschap" en vormden voortaan samen één groot fonds, getiteld: "van de huisarmen". Dit fonds werd beheerd door een stedelijk ambtenaar, later rentmeester genoemd. Het college van eleëmosenieren werd ook wel de armenkamer genoemd en het bureau van de rentmeester het rentambt van de armenkamer.