Het huis "ter Cannenburch met de Vogelleggen, moeien ende erve daertoe behorende" was een Gelders leen, in 1387 in het bezit van Aleid van Steenbergen *  Van haar zoon Reynart van Herwen vererfde het op haar kleindochter Aleyt van Herwen, vrouw van Dirk van Keppel, wier kleinzoon Dirk van Keppel een gedeelte van het bezit, nl. "het huys to Cannenborch met der volmoelen ende den bosch geheiten die Vogelhegge, met den water daer die moeien bij geet achter den huys voors.", begrensd door de beek ("nyet over id water") in 1535 overdroeg aan hertog Karel.
Na diens dood in 1538 droegen zijn executeurs de Cannenburg c.a. op aan Steven van Ruytenborch als vergoeding van de schade die deze in 's hertogen dienst had geleden (reg. nr. 92). In 1540 verkocht Steven van Ruytenborch het erf en goed "de poll genant Kannenborch" aan Zeger van Arnhem, die zich hiermede 16 maart 1543 liet belenen. Nog geen twee maanden later (5 mei 1543) droeg Zeger van Arnhem de Cannenburg op aan Marten van Rossem, aan wie Dirk van Keppel reeds in 1541 al zijn goederen, tynsen, tienden, wildbaan, visserijen, bossen en de beek vanaf de Vogelhegge tot aan haar begin, met het recht daarop molens te leggen, in het kerspel Vaassen en elders op de Veluwe gelegen, had overgedragen (reg. nr. 391).

Met de verwerving van het huis de Cannenburg door Marten van Rossem was het oude Veluwse bezit van de Van Herwens, later van de Van Keppels weder in een hand verenigd.

Uit de omschrijving van het goed bij de verkoop van 1540 als "de poll genant Kannenborch" zouden wij kunnen opmaken dat het oude kasteel geheel of vrijwel geheel was verwoest. Weliswaar wordt een brief door Marten van Rossem gedateerd "Kannenborch" 12 october 1545, dit behoeft echter nog niet te betekenen dat de Cannenburg toen een bewoonbaar huis was. Wel wijzen enige (kelder)gedeelten van het huidige kasteel erop dat men bij de bouw van het nieuwe kasteel, dat Marten van Rossem liet verrijzen, gebruik maakte van restanten van het middeleeuwse kasteel.

In 1551 was de bouw reeds zover gevorderd, dat Marten van Rossem in dat jaar Lambertus Schouwe en diens vrouw Styna aanstelde tot dienaar en maagd op het kasteel (inv. nr. 402). Merkwaardigerwijs wordt in de akte van aanstelling en in de rekeningen van Lambertus Schouwe, die over 1552-1555 bewaard zijn gebleven, niet gesproken over de Cannenburg maar over de "Dierenborg", een benaming die wij nergens anders aantreffen. Blijkens tal van posten in deze rekeningen wordt met de Dierenborg het kasteel bedoeld, dat overigens als Cannenburg bekend staat, Mogelijk heeft Marten van Rossem het door hem gebouwde kasteel een nieuwe naam willen geven, die echter geen ingang heeft gevonden.

Nadat Marten van Rossem 7 juni 1555 ongehuwd was overleden, liet Johan van Rossem zich als zijn oudste broeder 3 augustus 1555 belenen met alle leengoederen van de overledene, welke belening hij 18 maart 1558 liet vernieuwen. Inmiddels was bij magescheid tussen Johan van Rossem en zijn zuster Margriet, weduwe van Johan van Isendoorn, aan laatstgenoemde de Cannenburg, het huis te Lathum, het Kopvogelsgoed te Rheden en de gruit te Elburg toebedeeld. Bij testament d.d. 1 november 1558 *  wees Margriet van Rossem de Cannenburg en de tiend te Epe toe aan haar oudste zoon Johan van Isendoorn; aan heer Adriaan werd de gruit te Elburg en het Kopvogelsgoed toegewezen, aan Hendrik het huis te Lathum, terwijl de dochters Johanna, Anna, Margriet en Digna goederen zouden krijgen ter waarde van de tiend van Epe.

Kort hierop stierf Margriet van Rossem, weduwe van Johan van Isendoorn, waarna de Cannenburg krachtens bovengenoemde wilsbeschikking kwam aan Johan van Isendoorn, die wij al eerder zagen optreden als plaatsvervanger en zaakwaarnemer van zijn oom Marten van Rossem (inv. nr. 404-406 en brievenlijst nr. 29), Een magescheid vond eerst plaats op 1 october 1559, toen Johan van Isendoorn reeds was overleden (inv.nr. 88). De goederen die Margriet van Rossem hem bij testament had nagelaten worden in het magescheid niet vermeld en blijken nadien in het bezit te zijn van zijn broeder Hendrik van Isendoorn.

De nieuwe heer van de Cannenburg, Hendrik van Isendoorn, kon zich eerst 25 september 1563 met de Cannenburg laten belenen, na een uitspraak van het Hof van Gelderland tussen hem en zijn oom Johan van Rossem. Laatstgenoemde wilde namelijk geen toestemming geven tot de belening -hij was als oudste broeder van Marten van Rossem in 1555 en 1558 met de Cannenburg beleend omdat de Van Isendoorns nalatig waren geweest juwelen, kleren en zilverwerk, gevonden op het huis Bredevoort en in het veldleger van Marten van Rossem, in de boedel in te brengen, zoals dat bij magescheid over diens nalatenschap was bepaald * 

Onderhandelingen om het kerspel Vaassen te laten verheffen tot hoge heerlijkheid, die van 1558 tot 1566 werden uitgevoerd, liepen op niets uit. Toch namen de heren van de Cannenburg als voornaamste geërfde een belangrijke plaats in. Zij vergrootten voortdurend hun bezit in het kerspel Vaassen en elders in het ambt Epe. Zo kocht Frederik Johan van Isendoorn à Blois voor ruim ¿ 62.000 aan goederen, zijn zoon Johan Hendrik voor ¿ 11.000 en Frederik Karel Theodoor baron van Isendoorn à Blois voor f 57.000, terwijl de heer van de Cannenburg na de dood van Hendrik van Isendoorn, de laatste van de bastaardtak Van Isendoorn, diens aanzienlijke grondbezit onder Epe en Oene erfde. Voor een groot gedeelte zullen deze aankopen gefinancierd zijn door de liquidatie van belangen in Holland en elders, afkomstig van Odilia Catharina van Wassenaer, vrouw van Elbert van Isendoorn à Blois, en in de negentiende eeuw door verkoop van vele Belgische bezittingen. Exacte gegevens hierover zijn in het archief echter niet aanwezig.

Het geslacht Van Isendoorn à Blois, dat in de mannelijke lijn steeds Rooms-katholiek is gebleven, bewoonde vrijwel onafgebroken de Cannenburg. Daar stierf ook Frederik Karel Theodoor baron van Isendoorn à Blois, met wie in 1865 het geslacht Van Isendoorn à Blois uitstierf. Hij liet bij zijn dood slechts een kinderloze weduwe achter, aan wie hij bij holografisch testament d.d. 31 januari 1864 de gehele inboedel van de Cannenburg vermaakte, met uitzondering van de schilderijen, tekeningen en prenten, die moesten beschouwd worden als deel uit te maken van het kasteel, voorts het vruchtgebruik van het kasteel en park, benevens een jaargeld van f. 1000,-boven de f. 5000, -welke haar bij huwelijksvoorwaarden waren toegezegd. Wel had de erflater nadien op 26 september 1865 in België een nieuw holografisch testament gemaakt, dat eerst na zijn dood onder de minuten van een notaris werd gedeponeerd, en waarbij hij zijn vrouw al zijn gerede goederen naliet benevens het vruchtgebruik van al zijn onroerende goederen; dit testament was volgens de Nederlandse wet echter niet rechtsgeldig. In België was daarentegen juist dit tweede testament van kracht.

De erflater had in geen der testamenten een met name genoemde erfgenaam aangewezen, maar slechts hen, die overeenkomstig de wet daartoe zouden worden geroepen. Deze bepaling heeft voor de Cannenburg de meest rampzalige gevolgen gehad.

De executeurs, mr. Hendrik Houck, notaris te Deventer, en Bernardus Johannes Megens, rentmeester te Vaassen, lieten in 1867 de erfgenamen oproepen voor de arrondissementsrechtbank te Arnhem, om aan hen rekening en verantwoording van hun beheer af te kunnen leggen. Ruim honderd gegadigden meldden zich aan» Al vielen er spoedig velen af, de rechtbank kon tenslotte nog een keuze doen uit een 76-tal gegadigden, hoewel ook van dezen de aanspraken niet altijd serieus te nemen waren. Bij vonnis van 12 november 1868 werden als erfgenamen van Frederik Karel Theodoor baron van Isendoorn à Blois aangewezen:

a. Als erfgenaam van moeders zijde: Franciscus Johannes Hallo, die het erfdeel van Friedrich Carl Joseph baron von Venningen, een volle neef van de overledene, voor f. 1000,-had gekocht (de gehele erfenis bedroeg ruim 3.000.000 gulden!!).

b. Als erfgenamen van vaders zijde:
1. Maria F.J. gravin de Berlo, gehuwd met P.F.L. van der Gracht de Rommerswaal;
2. Maria Anne Louise gravin de Berlo;
3. Louis Francois Emile Benjamin graaf de Hamal;
4. Caroline Louise Victorine Honorée gravin de Hamal, douairière baron de Sprimont.

De erfgenamen weigerden echter de door de executeurs overgelegde rekening en verantwoording als zodanig te aanvaarden en eisten een behoorlijke rekening. Hun eis werd door de rechtbank te Arnhem bij vonnis van 5 augustus 1870 toegewezen.

De executeurs konden het echter niet met de erfgenamen eens worden, temeer daar dezen eisten, dat de executeurs vanaf de dood van de erflater er rekening mede hadden moeten houden dat het gehele onroerende bezit geliquideerd zou worden. Terwijl de executeurs in 1875 in appel gingen tegen het vonnis van 1870, eisten de erfgenamen, in het bijzonder de heer Hallo, op hun beurt een schadevergoeding van ruim 100.000 gulden omdat de executeurs geen rekening hadden gehouden met een algehele verkoop van de nalatenschap.

Eerst in 1879 werd het proces over de vaststelling van de rekening over de nalatenschap door vonnis van de rechtbank te Arnhem beëindigd. Hiertegen gingen de erfgenamen in 1880 in hoger beroep, terwijl de douairière van Isendoorn in dat jaar een proces tegen de erfgenamen begon, teneinde uitbetaling te krijgen van de haar toekomende bedragen. Voor verdere bijzonderheden moge verwezen worden naar de inventaris. Vermelding verdient nog het merkwaardige geschil over de vraag of de gouden tientjes van koning Willem I, die geen wettig betaalmiddel meer waren, tot de inboedel behoorden of tot het kapitaal. De vraag was niet zonder belang daar de overledene voor f. 102.000, -aan gouden tientjes had nagelaten!

Inmiddels was in 1869 bij akte van scheiding tussen de erfgenamen de Cannenburg c.a. toebedeeld aan de heer Hallo, die zijn bezit vervolgens doorverkocht aan de compagnons Cohen, Wolff, Everts en Verwaeyen. Dezen begonnen het bezit in percelen te veilen, met uitzondering van kasteel en park, waarvan de douairière van Isendoorn het vruchtgebruik genoot. Daar baron van Isendoorn à Blois had bepaald dat de schilderijen en tekeningen niet tot de inboedel behoorden, die hij aan zijn echtgenote had vermaakt, maar deel uitmaakten van het kasteel zelf, werden dus ook deze eigendom van genoemd viermanschap. Deze bepaling van de erflater, bij wie ongetwijfeld de bedoeling heeft voorgezeten kasteel met schilderijen bijeen te houden, had ten gevolge dat nog bij het leven van zijn echtgenote, in 1879, de schilderijen en tekeningen geveild werden. De algehele liquidatie van de Cannenburg moest nog wachten tot de dood van de douairière van Isendoorn à Blois in 1881. Toen werd het meubilair door de familie Van Oldeneel tot zich genomen en na een gehouden boeldag bleef de Cannenburg leeg achter.

In 1882 werd het kasteel aangekocht door Eduard baron van Lynden, wiens zoon D.R.B. baron van Lynden het in 1905 verkocht aan de Duitse kunstschilder dr. R. Cleve. Deze liet het kasteel restaureren en richtte het weer in. Na de oorlog kwam de Cannenburg als vijandelijk vermogen aan de Staat der Nederlanden, die het in 1946 overdroeg aan de Stichting "Vrienden der Geldersche Kasteelen".