Over de lotgevallen van het archief worden wij reeds vanaf de laatste jaren van de achttiende eeuw geïnformeerd. Oorzaak hiervan is het gedwongen ontslag als gerechtssecretaris van Rutger van Toll, in 1798. Meer dan 30 jaar had hij toen het gerecht van Breukeleveen ten dienste gestaan en de plaatselijke oud-rechterlijke en bestuurlijke archieven beheerd. Door middel van een rekest dat ter behandeling bij het Administratief Bestuur van het gewest Utrecht lag, trachtte Van Toll zijn ontslag ongedaan te maken. In afwachting van de uitslag had hij de archieven onder zich gehouden, waardoor de raadpleging hiervan nogal werd bemoeilijkt. In 1799 meldde zich derhalve de gerechtsbode bij hem met de mededeling dat hij alle archivalia diende af te geven. Van Toll weigerde in eerste instantie hieraan te voldoen *  , maar enkele maanden later droeg hij toch een gedeelte van het archief op inventaris over aan het bestuur. *  Het restant van het archief heeft de oud-secretaris blijkbaar nimmer meer afgestaan. In een brief van het Departementaal Bestuur aan het gemeentebestuur van Breukeleveen van 18 december 1800 werd de laatste gelast om onverwijld van de erfgenamen van de inmiddels overleden Van Toll alle charters, boeken, papieren en andere zaken betreffende de gemeente, uit diens nagelaten boedel terug te vorderen. * 

Omtrent de archieven vernemen wij wederom in 1851, wanneer in het gemeenteverslag over dat jaar het volgende wordt opgemerkt: 'De archieven der gemeente worden in eene behoorlijke staat onderhouden, echter blijft nog altijd aan te voldoen, om van het zoogenaamde oude archief, hetwelk zich te Breukelerveen bevindt, eene behoorlijke inventaris te doen maken'. *  Opgewekter klonk het in 1852, toen ten aanzien van de archiefstukken melding werd gemaakt van een 'behoorlijke inventaris opgemaakt te Breukeleveen'. *  Zelfs in 1893 is er nog sprake van een behoorlijke voortgang van het ordenen van het archief. *  Welk archief in dit geval is bedoeld, wordt niet duidelijk. Het oud archief zal hiermee evenwel niet zijn bedoeld, want de gemeenteverslagen over 1896, 1902, 1903 en 1904 bevatten steeds dezelfde opmerkelijke zin: 'Eene gewenschte behoorlijke regeling van het oud-gemeente-archief is niet tot stand kunnen komen doordien het meerendeel der raadsleden het belang daarvan niet schijnt te willen inzien omdat zulks kosten zoude veroorzaken'. * 

De archieven blijken volgens het verslag over 1909 verspreid te zijn bewaard, omdat dan sprake is van het gemeentearchief, voor 'zooveel ter secretarie aanwezig'. *  Omtrent de bergplaats wordt in 1917 gemeld dat het gedeeltelijk was geborgen in het gemeentehuis te Breukelen-St. Pieters en in de raadkamer aan het 'Kraaiennest'. *  Wat met het gemeentehuis is bedoeld is niet duidelijk. Sedert 1862 huurde de gemeente Breukelen-St. Pieters in het nieuwe gemeentehuis van de gemeente Breukelen-Nijenrode, gelegen op de hoek van Nieuwstraat en Herenstraat, daartoe bestemde lokalen, 'tot bewaring van het archief en het houden der vergaderingen van den raad dier gemeente'. *  Dit was een logisch gevolg van het feit dat beide gemeenten dezelfde burgemeester en secretaris hadden.

In 1925 werd door de raad van Breukelen-Nijenrode besloten om een nieuw tot gemeentehuis bestemd gebouw aan te kopen. De keuze viel daarbij op de buitenplaats Boom en Bosch; eigendom van de weduwe Quarles van Ufford-Willink van Collen. Het gevolg was, dat ook Breukelen-St. Pieters als huurder haar gemeentehuis naar Boom en Bosch verplaatste. Een brief van het gemeentebestuur van Breukelen-Nijenrode aan de rijksarchivaris in de provincie Utrecht maakt duidelijk dat haar archief en het archief der gemeente Breukelen-St. Pieters, voor zover niet geborgen aan het Kraaien-nest, op 17 december 1925 naar Boom en Bosch was overgebracht. In 1931 werd een gedeelte van het nieuw archief van Breukelen-St. Pieters naar het rijksarchief te Utrecht gezonden, teneinde daar door de archivaris mej. dr. Kurtz te worden geïnventariseerd. Waarschijnlijk heeft zij toen niet de stukken onder ogen gekregen die in 1938 nog steeds in het polderhuis Het Kraaiennest lagen opgeslagen. De archivalia die zij wel kon raadplegen zijn in 1932 naar het gemeentehuis te Breukelen-Nijenrode teruggekeerd.