Al spoedig bleek de grootste behoefte te bestaan aan koloniën bestemd voor het opnemen van personen van "minder zedelijk en goed gedrag": bedelaars en vagebonden, maar ook gezinnen die niet bedelden, maar niet meer waren op te leiden tot het zelfstandig beheer van een hoeve. Voor deze behoeftigen was geen plaats in de vrije koloniën *  .

Voor de aanleg van een gesticht waar deze mensen konden wonen en werken, had Van den Bosch een verlaten fort bij Ommen, de Ommerschans, op het oog, dat de Maatschappij in 1819 van de regering in vruchtgebruik kreeg. Vanaf 1820 konden daar op contract bedelaars worden geplaatst. Een Koninklijk Besluit van 13 maart 1822 schreef voor, dat voortaan alle valide en voor de landbouw geschikte bedelaars uit de bestaande stedelijke bedelaarswerkinrichtingen naar de koloniën van de Maatschappij van Weldadigheid moesten worden overgebracht. Op 7 oktober 1822 werd met de regering een contract afgesloten voor de plaatsing van 1000 bedelaars *  .

Voor de verzorging van wezen, vondelingen, bedelaars en vagebonden kocht de maatschappij in 1822 en 1823 in de gemeente Norg voor ? 66.000 de buurtschap Veenhuizen, met zo'n 2500 ha land. Op 1 maart 1823 werd een groot contract met de regering afgesloten voor plaatsing van 4000 wezen en vondelingen, 500 huisgezinnen en 1500 bedelaars, tegen betaling van ? 180.000 gedurende 16 jaar39. In Veenhuizen werden drie grote gestichten gebouwd. De regering kon haar contractuele verplichtingen van 1823 echter niet geheel nakomen ' de weerstand in het hele land tegen de opzending van kinderen naar de koloniën was te groot. Eén van de gestichten te Veenhuizen werd daarom na voltooiing als bedelaarsgesticht in gebruik genomen *  . In strijd met het contract van 1823 werden vele arbeidsongeschikte bedelaars opgezonden. In 1827 werd in een aangepast contract de verpleging van invalide bedelaars geregeld. Het aantal gecontracteerden bedroeg op dat moment 9200. In datzelfde jaar hief de koning de rijksbedelaarswerkhuizen te Hoorn en Veere op en verklaarde de Ommerschans en Veenhuizen tot de officiële bedelaarsgestichten van het koninkrijk *  .

In 1826 had de Maatschappij met de Commissaris-Generaal van Oorlog een contract afgesloten om 178 legerveteranen met hun gezinnen in de gestichten te huisvesten *  . Zij konden desgewenst in de landbouw of als bewakers van de bedelaars werkzaam zijn. Ze werden gehuisvest aan de buitenkant van de gestichten te Veenhuizen en Ommerschans en vormden een op zichzelf staande groep *  .

Met de opname van bedelaars en kinderen week de Maatschappij van Weldadigheid duidelijk af van haar oorspronkelijke doelstelling: de opleiding van daartoe geschikte mensen tot een zelfstandig bestaan. Zij was een verpleeginrichting geworden van personen, die het nooit zover zouden brengen ' iets wat Van den Bosch juist had uitgesloten. De Maatschappij accepteerde voortaan iedereen, behalve blinden en krankzinnigen *  .

Op 1 november 1842 werd ook het derde gesticht te Veenhuizen voor bedelaars bestemd en bleef alleen Veenhuizen I als kindergesticht in gebruik, tot het in 1869 door het rijk werd opgeheven. Door al deze wijzigingen was de bevolking van Veenhuizen uiteindelijk gevarieerder geworden dan die van de Ommerschans: gezinnen van zetboeren, wezen, vondelingen, arbeidershuisgezinnen en bedelaars, al of niet in gezinsverband *  .

In tegenstelling tot de vrije koloniën wisselde de bevolking van de bedelaarsgestichten te Ommerschans en Veenhuizen sterk. De bedelaars gaven zich vrijwillig op of werden gearresteerd door de politie en dan met of zonder vonnis opgezonden. Ook na arrestatie kon een bedelaar zich echter nog als vrijwilliger laten inschrijven. Wanneer een bedelaar zich goed gedragen had en de voorschotten van de Maatschappij aan kleding enz. had afbetaald kwam hij voor ontslag in aanmerking. Als de regering dan het door de Permanente Commissie ingediende verzoek tot ontslag had ingewilligd, kon de bedelaar vertrekken. Een openstaande schuld moest echter wel eerst worden aangezuiverd door de gemeente waar de bedelaar thuishoorde. Vrijwilligers konden te allen tijde vertrekken. Naderhand zijn de bepalingen voor hen verscherpt en moesten zij tenminste een jaar blijven *  .

Arbeidershuisgezinnen in Veenhuizen waren, evenals de vrije kolonisten, volkomen vrij om ontslag te vragen als zij dit wensten. Deze arbeidersgezinnen werden echter niet opgeleid tot het zelfstandig beheren van een hoeve. Ze bleven ondergeschikt. Veenhuizen was een opvoedingsgesticht voor kolonisten, die zich zonder leiding van anderen niet konden handhaven en dus ongeschikt waren voor een zelfstandig bestaan. De Ommerschans daarentegen had het karakter van een strafkolonie en een verbeteringsgesticht *  .