Tijdens het Franse bestuur staan de gevangenissen onder de "Onbezoldigde Raden der Gevangenissen" die door de prefect worden benoemd in elk arrondissement. Na 1814 worden deze vervangen door toezichthoudende colleges op elke inrichting apart. Voor de Huizen van Bewaring (of kantonnale gevangenissen) zijn dit de Colleges van Toezicht, bij de overige inrichtingen de Commissies van Administratie of de Colleges van Regenten. Deze colleges staan van 1816 tot 1886 onder het direkte toezicht van de Gouverneur in de provincie (later Commissaris des Konings ). Van 1816 tot 1823 vallen ze landelijk onder het Ministerie van Justitie, van 1814 tot 1816 en van 1823 tot 1842 onder Binnenlandse Zaken. Na 1886 berust het toezicht over de colleges bij het Ministerie van Justitie, Directie Gevangeniswezen. Na 1886 heten de Colleges van Toezicht en Colleges van Regenten alleen nog Colleges van Regenten en vallen rechtstreeks, zonder tussenkomst van de Commissaris des Konings, onder de Directe Gevangeniswezen van het ministerie. In 1953 vindt een totale omwenteling plaats. De besturende taak van de Colleges van Regenten wordt overgenomen door de directeur. De Colleges van Regenten krijgen nu alleen nog een zuiver controlerende taak.