Toen op 28 november 1605 Thoenis Warners en zijn vrouw Steventje Toenis de boederij Ruitersgoed in het Veluwse ambt Epe in de buurschap Tongeren in pandschap verkregen, zullen zij niet hebben beseft, dat zij hiermede de grondslag legden voor een landgoed, dat nog steeds in bezit is van hun nakomelingen. Nadat zij in 1608 deze boerderij in eigendom verwierven, gingen zij voort het bezit uit te breiden door het aankopen of in pand nemen van losse percelen land of aandelen in boerderijen. En toen in 1642 hun kleindochter Steventje Warners trouwde met de Harderwijkse koopman Jan Bosch Nuck, bracht zij een niet onaanzienlijk grondbezit in de buurschap Tongeren ten huwelijk mede. Ook haar man en haar kinderen bleven goederen aankopen. Doordat vele leden van de familie Nuck ongehuwd of kinderloos stierven, kwam het gehele Tongerense bezit tenslotte in handen van Cornelia Nuck, die in 1706 gehuwd was met Wilhem de Meester, en vererfde op Mr. Nicolaas Wilhem de Meester, burgemeester van Harderwijk. Toen deze in 1763 overleed, kwamen op één na alle boerderijen in de buurschap aan zijn dochter Cornelia Maria de Meester, vrouw van de Elburgse burgemeester Mr. Jan Hendrik Rauwenhoff.

De nieuwe eigenaar is vermoedelijk de eerste geweest, die van het complex goederen een landgoed heeft gemaakt, in deze zin, dat hij hier een herenhuis bouwde of althans een bestaande behuizing hiertoe verbouwde en lanen en bossen ging aanleggen. Hij verbleef geregeld te Tongeren, tot hij in 1786 wegens zijn aandeel in het verzet tegen Prins Willem V moest vluchten en ter dood werd veroordeeld. Wel werd hij in 1790 begenadigd, maar naar Tongeren kon hij ook als ambteloos burger niet terugkeren. Tot 1795 verbleef hij in ballingschap in Kampen, waar hij ook nadien bleef wonen, omdat terugkeer naar Elburg onmogelijk bleek wegens een geschil met het stadsbestuur, dat op hem persoonlijk alle uitgaven wilde verhalen, die hij als president-burgemeester in 1786 had gedaan om Elburg in staat van verdediging te brengen. Zo kon Mr. Jan Hendrik Rauwenhoff tot zijn grote verdriet alleen in de zomermaanden geruime tijd in Tongeren doorbrengen.

Na zijn overlijden in 1815 was de verdeling van zijn nalatenschap nog niet tot stand gekomen, toen zijn oudste zoon Dr. Nicolaas Wilhem Rauwenhoff, arts in Amsterdam, in 1818 overleed. Zo werd in 1821 het bezit in Tongeren verdeeld tussen zijn dochter Geertruida Johanna Rauwenhoff weduwe Strockel, zijn zoon Pieter Jan Jacob Rauwenhoff, majoor der genie in Ath in Henegouwen, en de kinderen van Nicolaas Wilhem Rauwenhoff. Diens oudste zoon Jan Hendrik Rauwenhoff kocht al spoedig het aandeel van de kinderloze weduwe Strockel, aan wie hij het herenhuis verhuurde, en in 1831 het bezit van zijn oom Pieter Jan Jacob Rauwenhoff, waarvoor de weduwe Strockel hem het nodige geld leende. Als beginnend koopman was Jan Hendrik Rauwenhoff niet in staat veel meer te doen dan het bezit in stand te houden, al werden plannen gemaakt voor verbetering en verfraaiing. Zijn vroege dood in 1833 op 34-jarige leeftijd verhinderde de verwezenlijking hiervan. Zijn weduwe, die met vier kinderen achterbleef in de leeftijd van zeven maanden tot zeven jaar, moest onder zo benarde omstandigheden leven, dat voor Tongeren geen geld ter beschikking stond. Dit zou echter geheel anders worden.
In 1845 hertrouwde de weduwe van Jan Hendrik Rauwenhoff, Anna van Heurn, met Charles le Chevalier, die tot de vriendenkring van haar man had behoord. Frederic Charles Clemens le Chevalier, die zich uitsluitend Charles le Chevalier noemde en schreef, was deelgenoot in de firma Jean Jacques Poncelet te Amsterdam, tezamen met zijn oom Rodolphe le Chevalier, en zijn broeder Rodolphe le Chevalier. Ook dreef hij op andere wijze zaken en behoorde hij tot de vermogende Amsterdamse kooplieden (bij zijn dood in 1881 liet hij ruim 800.000 gulden na).

Charles le Chevalier wierp zich direct vol enthousiasme op het beheer van het bezit in Tongeren, waar hij al spoedig de nog ontbrekende boerderijen aankocht en uitgebreide heidevelden rondom Tongeren verwierf, die hij op grootscheepse schaal liet bebossen.
Daar hij het bezit van zijn stiefkinderen in huur had genomen, kon hij het gehele bezit, dat ruim 800 ha. ging omvatten, als één geheel beheren. Hierin blijkt hij tot de meest vooruitstrevende figuren van zijn tijd te hebben behoord, steeds zoekend naar nieuwe methoden en middelen om de landbouw op de zandgrond op een hoger plan te brengen. De omvangrijke administratie die hij ons naliet, leert ons hem kennen als een man die steeds bereid was grote bedragen te investeren, maar toch een goed koopman bleef, niet alleen omdat hij hoopten op lange termijn zijn beleggingen te zien renderen, maar vooral omdat hij zocht naar middelen ter verbetering van de landbouw, die ook de gewone boer zou kunnen bekostigen.

Vele teleurstellingen heeft hij moeten boeken, de ontginningsboerderijen bleken lang niet altijd een succes, de boeren op de oude erven waren niet gemakkelijk bereid hem na te volgen; landbouw-economisch had Le Chevalier ongunstige tijden. Maar nooit heeft hij zich blijvend laten ontmoedigen; steeds bleef hij zoeken naar datgene, waardoor zijn boeren het beter zouden krijgen. Al spoedig heeft hij begrepen, dat ook goed onderwijs hiervoor noodzakelijk is. Toe pogingen om met Prof. Buys Ballot een school op te richten en om de gemeente Epe een school te laten bouwen mislukten, liet hij in 1867 en 1868 uit eigen middelen een school in Tongeren bouwen. Ook het tractement van de hoofdonderwijzer B.H. Wesseldijk betaalde Le Chevalier zelf. Vanaf de oprichting heeft Le Chevalier de leerplicht ingevoerd voor de kinderen van zijn arbeiders, terwijl zijn pachtboeren, d.w.z. de boeren op de erven van zijn stiefkinderen, wel heel goede redenen moesten hebben om hun kinderen niet naar school te sturen! Nauwgezet volgde Charles le Chevalier de staten van schoolbezoek en de resultaten van het onderwijs, dat voor die tijd uitzonderlijk goed was.
Nadat in 1881 Charles le Chevalier was overleden, verdeelden zijn nog in leven zijnde stiefkinderen, die zijn universele erfgenamen waren, het Tongerense bezit in drieën.
Het middengedeelte met het oude herenhuis kwam aan Dr. Lodewijk Willem Ernst Rauwenhoff, hoogleraar in Leiden. Het noordelijk deel werd toegedeeld aan Dr. Nicolaas Wilhem Pieter Rauwenhoff, hoogleraar in Utrecht, die hierop het landhuis Het Hull liet bouwen. Het zuidelijk deel kwam aan de ongehuwde Anna Petronella Johanna Rauwenhoff, die op de Korrenberg een klein huis liet bouwen.

Om het voortbestaan van de school zeker te stellen, werd in 1893 de Le Chevalier's Stichting in het leven geroepen, met een eigen vermogen. In 1907 werd het gehele landgoed ingebracht in een Naamloze Vennootschap. Toen in 1909 Prof. Dr. Nicolaas Willem Pieter Rauwenhoff overleed zonder kinderen na te laten, was een nieuwe verdeling nodig. Het landgoed werd toen verdeeld tussen drie van de vier kinderen van Prof. Dr. Lodewijk Willem Ernst, daar diens zoon Jan Hendrik Charles Rauwenhoff reeds het aan Tongeren grenzende landgoed Westraven bezat. De N.V. landgoed Tongeren bleef echter als zodanig bestaan. Ook thans kunnen alleen de nakomelingen van de drie toen gerechtigde kinderen van Prof. Lodewijk W.E. Rauwenhoff aandeelhouder zijn.