Zoals reeds vermeld gaat de geschiedenis van de heren van Broekhuizen terug tot in de dertiende eeuw. In het dorp Broekhuizen bezaten zij ook de hoge heerlijke rechten. De eerste vermelding daarvan vindt plaats in 1402, wanneer het 'hoigericht tot Bruechusen' in de leenregisters van de hertog van Gelre wordt vermeld. Dat wil zeggen dat de heer van Broekhuizen het recht op de hoge rechtspraak ontving en dat er op dat moment een schepenbank moet hebben bestaan. Flokstra vermoedt dat deze heerlijke rechten aan de heren van Broekhuizen oorspronkelijk als allodium of vrije eigendom toebehoorden en pas later in leen werden opgedragen. *  Hoe dit ook mag zijn, de status van Broekhuizen was goed vergelijkbaar met die van naburige plaatsen met hoge heerlijkheden in de buurt zoals Blitterswijk, Ooijen, Grubbenvorst, Horst en Meerlo. Deze situatie blijft bestaan tot opheffing van de heerlijke rechten in 1798, met dien verstande dat sedert 1744 de koning van Pruisen als hertog van Gelre en eigenaar van de heerlijkheid (zie hierna) de hoedanigheden van leenheer en leenman in zich verenigde. Heerlijkheid en kasteel van Broekhuizen vormden een eenheid, hoewel de eerste schriftelijke vermelding van het huis pas uit 1434 dateert. *  Men neemt echter aan dat het huis in oorsprong veel ouder is. Aan dit kasteel is in de loop der eeuwen veel herbouwd en verbouwd. De laatste grote bouwcampagne vond plaats in de eerste helft van de achttiende eeuw. Van het opgaande muurwerk dateerde waarschijnlijk alleen nog de grote toren uit de 16de eeuw. In de herfst en winter van 1944 viel het kasteel ten prooi aan oorlogsgeweld en thans resteert nog slechts een dichtbegroeide ruïne

De laatste telg uit het geslacht Van Broekhuizen, die op het kasteel van Broekhuizen resideerde was Reiner van Broekhuizen (1465-1496), een geducht krijgsman, die onder andere in 1473 de verdediging van de stad Nijmegen tegen de Bourgondische hertog Karel de Stoute leidde. Later vervulde hij belangrijke opdrachten in dienst van de Gelderse hertog Karel van Egmond. *  Reiner liet drie dochters na, waarvan er één, Walraven, gehuwd met Steven Van Zuylen van Nijevelt, huis en heerlijkheid Broekhuizen erfde. Daarmee was de familie Van Broekhuizen in Broekhuizen uitgestorven. In andere plaatsen (onder andere het naburige Ooijen) zetten andere linies de familienaam voort. Daarmee begint voor Broekhuizen een periode van bijna twee en een halve eeuw, waarin door een aantal verervingen in vrouwelijke lijn steeds weer nieuwe familienamen opduiken, zoals Van Malsen, Van Wittenhorst, Huijn van Geleen en Amstenrade, Van Pallandt, Van Plettenberg, Van Wendt en Van Arnstedt. *  Sommige leden van die families hadden in Broekhuizen hun vaste woonplaats, maar steeds vaker vormden huis en heerlijkheid slechts een onderdeel van een veel groter familiebezit en lieten de heren en vrouwen zich slechts incidenteel in Broekhuizen zien. Het dagelijks beheer werd in zo'n geval toevertrouwd aan een rentmeester, vaak de schout van Broekhuizen

Rond 1740 werd Broekhuizen een twistappel tussen twee partijen, te weten Cornelia Amalia von Wendt, gehuwd met Joseph Ignatius von Streit Immendingen en haar zuster Frederica Augusta von Wendt, gehuwd met Philip Leopold von Arnstedt. *  Er zijn verschillende processen gevoerd voor het hof van justitie te Geldern, die er mee eindigden dat in 1744 kasteel en heerlijkheid werden verkocht aan de koning van Pruisen. Vanaf dat moment werd Broekhuizen vanuit Geldern beheerd als koninklijk domein en het kasteel verpacht. In 1798 viel de heerlijkheid Broekhuizen toe aan de Franse Staat als rechtsopvolger van de koning van Pruisen. Na de afschaffing van de heerlijke rechten werden het huis met bijbehorende landerijen als domeingoed beheerd, eerst door de Fransen en na 1815 door de Nederlandse autoriteiten. In 1819 volgde de verkoop aan P.Th. Bovens, burgemeester van Maashees. *