De Armenkorf van Terborg en van het Gasthuis van Silvolde werden sinds de 15e eeuw beheerd door de eigenaren van Huis Bergh en van Huis Wisch gezamenlijk. De betrokkenheid van beide huizen vindt zijn oorsprong in de tweeherigheid van het huis Wisch die in de tweede helft van de 14e eeuw tot stand kwam. In 1486 verwierf Huis Bergh in de persoon van graaf Oswald de helft van de hoogheid Wisch en trad daarmee, in verband met de tweeherigheid, voor de helft in de bestaande rechten, waaronder ook het toezicht over de Armenkorf van Terborg en het gasthuis van Silvolde

De Armenkorf van Terborg werd in 1390 gesticht door Agnes, vrouwe van Wisch, Robert van Wisch, kannunnik ten Dom te Utrecht en de andere voogden van de onmondige Henrick, heer van Wisch en Diderick heer van Wisch. Volgens de stichtingsbrief gebeurde dat "tot der eren gades ende omme tho vervullen die wercken der ontfarmhertichheiden" "unde uitzonderlinghe tho vervullene dat vierde werck van ontfarmherticheiden wilch is kledet die nakeden". Het fonds dat gesticht werd bestond uit goederen en jaarlijkse renten. Blijkens de stichtingsbrief is het fonds opgericht om ten eeuwigen dage te blijven bestaan, de administratie zou worden gevoerd door de beide "kircheren" (kerkheren) van Etten en Terborg waar de schenkers de collatie van de pastorieën bezaten. De kerkheren waren gehouden om de revenuen aan te wenden voor de armen `in den kirspelen van Etten unde van der Borch'. Verder werden zielmissen ingesteld voor de begunstigers van de armenkorf. De administrateurs dienden ieder jaar aan de stichters of hun nakomelingen verantwoording af te leggen over hun beheer. De naam Armenkorf werd in 1390 nog niet gebruikt. Er is in 1395 *  sprake van "die ghemeyne almissen ther Borch". Ook uit 1454 is nog een vrijwel identieke benaming overgeleverd * 

In 1486 werd één helft van de hoogheid Wisch verworven door Oswald van den Bergh (die in datzelfde jaar door keizer Frederik III tot rijksgraaf werd verheven). Daarmee werd ook de band van het Huis Bergh met de Armenkorf een feit. In regelmatige vererving kwam het Berghse aandeel in het beheer over de Armenkorf bij Wilhelm, vorst van Hohenzollern (Sigmaringen), die in 1912 al zijn rechten en bezittingen in de Nederlanden overdroeg aan J.H. van Heek. Deze laatste bracht al zijn Berghse bezittingen in 1946 onder in de Stichting tot instandhouding der goederen en rechten van het Huis Bergh. De andere helft van Wisch en daarmee het medetoezicht over de Armenkorf, kwam na het uitsterven van de heren van Wisch aan het geslacht Van Limburg-Stirum, daarna aan Nassau-Siegen, Kurland en Brandenburg. In 1756 verkocht Carel, prins van Pruisen, al zijn rechten en bezittingen aan mr. Adriaan Steengracht, deze in 1772 aan J.H.S. van Nagell. In 1849 werd Wisch verkocht aan Douairière Van Schuylenburch, via wier achterkleindochter, het medebeheer in 1983 overging op een afgevaardigde van de familie Vegelin van Claerbergen.

De doelstellingen van het fonds zijn sedert de invoering van de Algemene Bijstandswet in 1963 uitgebreid. Sindsdien werd behalve aan behoeftige personen (ook buiten Etten en Terborg), nog meer dan voorheen steun verleend aan instellingen op kerkelijk en cultureel gebied. Daarnaast werd bij het beheer van de bezittingen de bescherming van natuur en landschap nagestreefd.

Op 21 december 1995 werd de Armenkorf van Terborg met het Gasthuis van Silvolde verenigd in één stichting geheten: Stichting de verenigde stichtingen 'De Armenkorf' te Terborg en 'Het Gasthuis te Silvolde'. De verkorte naam luidt sindsdien: Stichting de Armenkorf. Dit gebeurde om praktische redenen. De doelstellingen van beide instellingen waren vrijwel identiek terwijl de besturen en de administratie bij dezelfde instanties berustten. Voorts waren ook financiële voordelen verbonden aan een fusie. De aloude vertegenwoordiging van de huizen Bergh en Wisch in het bestuur bleef, evenals ook de manier van werken, gehandhaafd.