Met de aankoop in 1715 van de familie Kryt kwam het-in 1507 voor het eerst genoemd-huis Vosbergen aan Alexander van Dedem (1658-1741). Deze Alexander was de jongere broer van Willem Jan van Dedem, die in 1703 de havezate Den Berg te Dalfsen kocht. Sindsdien is het landgoed Vosbergen Van Dedem-bezit, op de periode 1851-1864 ná. Twee keer bleek het huis en het landgoed vererfd te zijn op de andere takken van de familie Van Dedem. Door het overlijden van de laatste telg van de tak Vosbergen (I), Catharina Elisabeth Louise van Dedem (1778-1851) in 1851 vererfde het goed op haar dochter uit het huwelijk met Boldewijn Reint Wolter baron Sloet tot Hagensdorp (1773-1863), Adriana Philippine Catharina Sloet tot Hagendorp (1816-1864). Zij was in 1838 gehuwd met Willem Karel Jan baron van Dedem (1808-1887) van de tak Driesberg. Hun zoon Willem Karel van Dedem (1839-1895) kocht in 1864 Vosbergen van de erfgenamen Sloet-Van Dedem. In 1895 kwam Vosbergen aan Pauline Theodora van Dedem (1846-1931), een zuster van Willem Karel. Zij heeft bij testamentaire beschikkingen Vosbergen gelegateerd aan Godert Willem van Dedem (1902-2002), haar verre familielid van de tak Den Berg. Na zijn overlijden in 2002 kwam het landgoed aan zijn jongste zoon Gijsbert Willem Karel van Dedem, terwijl zijn oudste dochter Geertruid Agnes Kamerlingh Onnes-barones van Dedem het huis aan het Apeldoorns Kanaal bewoont.