De schepenbank Swolgen-Broekhuizenvorst was gevestigd te Swolgen, gelegen in het zogenaamde land van Kessel. Dit land, later genoemd het ambt Kessel, was een van de landen (ambten), die samen het Overkwartier van Gelre vormden. Het graafschap Kessel, grotendeels gelegen op de linker Maasoever, werd op 27 september 1279 door de graaf van Kessel, Hendrik V, verkocht aan Reinoud I, graaf van Gelre. In de overdrachtsakte wordt het gebied wel in vage lijnen genoemd, maar geen afzonderlijke plaatsen of gebieden. *  Wanneer Swolgen en Broekhuizenvorst in Gelders bezit zijn gekomen is niet bekend. In ieder geval waren ze in 1323 Gelders. *  De aankoop van het graafschap Kessel was een van de laatste verwervingen in het land van Maas en Rijn door de graven van Gelre. Alle verwervingen van verschillende graafschappen en heerlijkheden werden samen gesmeed tot één complex, dat in de bronnen voor het eerst genoemd wordt in 1318 als: "Het land van der Nierssen opwaert aen beyden syden van de Masen", ofwel het Overkwartier. *  Het Overkwartier was verdeeld in bestuursdistricten, ambten, die aanvankelijk nog land worden genoemd. De term land werd in de 15de eeuw verdrongen door ambt. In het ambt Kessel bezat de hertog de hoge en lage jurisdictie en de domeingoederen. Op de linkerzijde van de Maas lagen nog een aantal heerlijkheden, die ook tot het hertogdom werden gerekend, maar waar de hertog geen enkele jurisdictie bezat. In de 16de eeuw vormen zij samen het land van Kessel.

Dit omvatte in 1548 de volgende heerlijkheden: Blitterswijck, Broekhuizen, Geysteren, Grubbenvorst, Horst, Meerlo-Tienray, Oirlo, Oijen en Oostrum-Spraelant. *  In latere tijden wordt in de stukken de term land en ambt gebruikt voor hetzelfde gebied. In 1590 werd het Overkwartier definitief gescheiden van de drie andere kwartieren, te weten Nijmegen, Arnhem en Zutphen, waarmee het samen hertogdom Gelre vormde. Het werd een zelfstandig gewest met een eigen Hof en Rekenkamer te Roermond. Het behoorde tot de Zuidelijke Nederlanden en werd vanuit Brussel bestuurd. Na de Spaanse Successieoorlog (1702-1713) werd het Overkwartier bij de Vrede van Utrecht (1713) en het Barrièretraktaat (1715) in drie delen gesplitst. Te weten een Oostenrijks deel, een Pruisisch deel en een Staats deel. Het Pruisische deel omvatte de ambten Gelder, Kriekenbeek, Wachtendonk, Straelen, Kessel, Middelaar en de binnen deze ambten gelegen heerlijkheden. *  Deze toestand heeft bestaan tot 1794, toen de Franse troepen deze gewesten bezetten