Huize Zuthem, genoemd naar de marke van die naam in het schoutambt van Zwolle gelegen, was een leen van de St. Lebuinuskerk te Deventer. Reeds in 1413 komt het als zodanig voor in het leenregister van de proosdij van deze kerk. De laatste vermelding dienaangaande in hetzelfde register dateert van 1495.

Zelf heeft huize Zuthem ook een leenkamer bezeten. Uit de ons overgeleverde archivalia blijkt, dat dit reeds in 1682 het geval was. Onder deze leenkamer ressorteerden o.a. het erve de Aalvanger, landerijen in Sekdoorn en het erve Roterdink te Wilp bij Deventer. Doch in 1725 onthief E.A. Baron van Pallandt erve Roterdinck van haar leenplichtigheid. Hieruit blijkt, dat de invloed van huize Zuthem zich verder uitstrekte dan de eigen streek, wat wellicht verklaard wordt uit het feit, dat Zuthem een leen van de St. Lebuinuskerk te Deventer is geweest.

De eerste bewoners van huize Zuthem waren leden van het geslacht van die naam, die tot omstreeks 1414 het huis bewoond hebben. Door het huwelijk van de dochter van Adolf van Zuthem met Frederik van Rutenberg, dat rond 1400 gesloten moet zijn, is het goed aan de Van Rutenberg gekomen. Gedurende de Gelderse oorlog heeft het ernstig van de oorlogshandelingen te lijden gehad: op 13 juli 1521 werd het huis door de Zwollenaren, die op de hand van Karel van Gelre waren, geplunderd.

Na het kinderloos overlijden van Adolf van Zuthem in 1633 is het aan de vier kinderen van Derk van Rutenberg van Presikhave gekomen. Over deze erfenis ontstonden moeilijkheden onder de vier erfgenamen. Nadat die uit de weg geruimd waren, verkreeg Unico Otto van Rutenberg het in bezit. Hij stierf omstreeks 1660. Zijn echtgenote Fossetta Hommens ging daarna een huwelijk aan met Derk van Haersolte. Met de financiële toestand van de bewoners was het inmiddels droevig gesteld. Om de tekorten te dekken ging Unico Otto van Rutenberg leningen aan. Acht jaar later wordt het huis bij executie door de crediteuren verkocht.

Elisabeth Margaretha van Pallandt, douarière van Rutger van Haersolte, wordt de nieuwe eigenares; zij heeft het goed in 1682 aan haar neef Adolf Werner baron van Pallandt geschonken, die haar moest beloven dat hij Zuthem van schulden zuiverde.

De laatste en meest bekende bewoner van Zuthem was Adolf Werner baron van Pallandt, die het van 1760 tot 1803 in bezit heeft gehad. Vanaf 1763 was hij drost van IJsselmuiden. Zeer sympathiek stond hij tegenover de democratische denkbeelden, die in de loop der 18e eeuw hier te lande in zwang kwamen zoals bijvoorbeeld de afschaffing van de beruchte drostendiensten. Een groot vriend en medestrijder voor de patriottische beweging vond hij in Joan Derck van der Capellen tot den Poll, die hem op 6 juni 1784 ontviel. Van Pallandt's patriottische gezindheid heeft er na het herstel van stadhouder Willem V in 1787 toe geleid, dat hij uit al zijn ambten en bedieningen werd ontslagen. Zoals vele patriotten is hij in vrijwillige ballingschap gegaan. Antwerpen is zijn nieuwe woonplaats geworden, wat ondermeer blijkt uit een akte van 5 juni 1789, waarin hij G.J. van Pallandt tot Glinthuis als zaakwaarnemer over Zuthem aanstelt. Na zijn terugkeer in 1795 vindt men hem onder de leden der Nationale Vergadering en de representanten van het volk van Zwolle. Voorts werd hij drost van Salland.

Toen hij in 1803 overleed, had hij Zuthem bij testament vermaakt aan zijn neef A.C.W. baron van Haersolte tot den Doorn en Haerst, die ruim 90 ha in eigendom erbij kreeg. Het huis met het opgaand hout, op enkele bomenrijen na is, in 1807 afgebroken.

Onder de stukken van het Haersolte-Armenhuisarchief bevonden zich archivalia, die vreemd waren aan dit archief. Bij nader inzien bleek, dat deze stukken wel een duidelijke onderlinge samenhang vertoonden zodat het voor de hand lag te veronderstellen, dat men hier te maken had met het huisarchief van Zuthem.

Vermenging met het Haersolte-Armenhuisarchief kon plaatsvinden, doordat na de dood van Adolf Werner in 1803, het landgoed aan leden van de familie Van Haersolte van den Doorn en Haerst kwam, die ook de bestuurders van het Haersolte-Armenhuis waren.

Wanneer dit archief is overgedragen aan de gemeente is niet bekend, waarschijnlijk is dit gebeurd in die periode die volgde op het jaar 1898, toen het Zwolse gemeentearchief uit misplaatste bezuinigingsmotieven overgebracht werd naar de archiefbewaarplaats van het rijksarchief in de provincie Overijssel.

In 1912 is het gemeentearchief op last van de toen pasbenoemde Zwolse gemeente-secretaris mr. dr. G. van Leyden naar het stadhuis in de Sassenstraat teruggebracht. Het te inventariseren archief is erg fragmentarisch. Op enkele stukken bevonden zich nog kenmerken van een oude ordening, die echter geen enkel houvast boden om naar die ordening te werk te gaan.

Bij de inventarisatie is de oorspronkelijke zaaksgewijze ordening, zoals die moet hebben bestaan toen het archief gevormd werd, hersteld. Daarom zijn de weinige stukken, die thans nog het huisarchief Zuthem vormen dan ook in een tweetal rubrieken verdeeld, waarvan de eerste rubriek, getiteld, "Leengoederen" weer verdeeld is in een paragraaf "Algemeen" en een paragraaf "Beheer van de leengoederen".

Het tweede rubriekje "Eigendommen" heeft meer betrekking op de persoonlijke bezittingen van de bewoners van het huis.
De inventaris sluit met stukken, waarvan het verband met het huisarchief Zuthem niet kon worden aangetoond, maar die wel in dezelfde collectie werden aangetroffen.