Het Museum Mr Simon van Gijn werd op 10 juni 1925 officieel door burgemeester P.L. de Gaay Fortman geopend. De inrichting van het museum, gehuisvest aan de Nieuwe Haven 29, was mogelijk, doordat de bekende Dordtse bankier en kunstverzamelaar Simon van Gijn (1836 - 1922) had bepaald, dat bij zijn overlijden zijn collecties, huis en het grootste gedeelte van de inboedel aan de Vereniging "Oud- Dordrecht" zou worden nagelaten. Na Van Gijns dood in 1922 kon zijn woonhuis, dankzij een door de Gemeente Dordrecht verstrekte lening van ? 6.000 voor de inrichting en een jaarlijkse subsidie van ? 5.000 voor de exploitatie, tot museum worden omgebouwd. De collectie van Van Gijn omvatte kunst, antiquiteiten, een bibliotheek, kaarten, prenten, tekeningen, fotografieën en moderne ameublementen. Ze werd samengevoegd met de collectie van de Vereniging "Oud-Dordrecht", die eerst in de Groothoofdspoort was ondergebracht. Hierdoor werd de verzameling uitgebreid met oude kunstnijverheid en oudheidkundige, Dordtse voorwerpen.

In 1923 werd jonkheer E.W.C. Six, directeur van het Dordrechts Museum, tot conservator benoemd. Hij streefde ernaar om het huis zo veel als mogelijk in de oude staat te bewaren: alleen de zolder werd tot depot en expositieruimte omgebouwd. In de jaren 30 werden de collecties door aankopen fors uitgebreid. Door een schenking in 1934 werd er op zolder een aparte speelgoedafdeling ingericht. In deze periode werd ook een begin gemaakt met de inventarisatie van de verzamelingen. Het personeel bestond echter slechts uit een conservator, conciërge en amanuensis. In 1939 begon Six met het in veiligheid brengen van de collecties: veel stukken werden ergens anders ondergebracht, terwijl in de oorlogsjaren ook vele waardevolle voorwerpen door particulieren bij het museum in bewaring werden gegeven. Van september 1944 tot september 1945 was het Museum Mr Simon van Gijn voor het publiek gesloten.

In de jaren 40 werd de Vereniging "Oud-Dordrecht" geconfronteerd met een groot ledenverlies. Het gevolg hiervan was, dat de financiële basis van het museum werd ondermijnd: er was te weinig geld voor het onderhoud van het gebouw en de collecties. In 1948 besloot de ledenvergadering daarom om het museum en alle eigendommen aan de Gemeente Dordrecht aan te bieden. Burgemeester J. Bleeker nam in deze kwestie het initiatief. Op 23 februari 1949 keurde de Gemeenteraad het voorstel goed en werd de Vereniging "Oud-Dordrecht" ontbonden. Op 13 augustus van dat jaar vond de overdracht plaats en werd het museum een gemeentelijke instelling.

In 1949 was L.J. Bol, directeur van het Dordrechts Museum, tot directeur van het Museum Mr Simon van Gijn benoemd. Hij besloot tot een krachtige aanpak van de vele problemen: het gebouw verkeerde in een slechte staat en er ontbrak een inventaris van de collecties. In 1950 werd daarom begonnen met een grondige restauratie van het pand Nieuwe Haven 29. Ook werd het gebouw opnieuw ingericht. De kostuumafdeling werd verplaatst naar de eerste verdieping, het depot werd op de vliering gepland en het oude depot werd verbouwd tot expositieruimte. Voor de inventarisatie van de collecties werd met rijkssubsidie een parttime assistent, F. Uhl, aangesteld. Aangezien Bol de meeste tijd in het Dordrechts Museum verbleef, berustte de dagelijkse leiding bij Uhl. In 1960 kwam deze eindelijk in gemeentelijke dienst, aangezien men tot de conclusie was gekomen, dat het museum onderbezet was. Uhl heeft een belangrijke rol gespeeld bij de inventarisatie van de collecties, de uitbreiding van de speelgoedcollectie en de bevordering van de educatieve activiteiten: er werden geregeld tentoonstelling georganiseerd, rondleidingen gehouden en lesbrieven voor de scholen geschreven.

Onder directeur P.N.H. Domela Nieuwenhuis bleef de nadruk op de publieksgerichte functies van het museum liggen. De tentoonstellingsruimte werd uitgebreid, zodat wisseltentoonstellingen beter mogelijk werden. Vooral de kunstnijverheidscollectie en de speelgoedafdeling werden vergroot. Dit leidde er zelfs toe, dat in 1983 het speelgoedhuisje kon worden geopend. Bovendien werd er in een aangrenzend pand aan de Hoge Nieuwstraat een conciërgewoning en restauratieatelier gehuisvest. In 1975 volgde de splitsing van het directoraat van de Dordrechtse musea. Hierdoor werd Domela Nieuwenhuis alleen directeur van het Museum Mr Simon van Gijn. In 1989 hield het museum op te bestaan als zelfstandige gemeentelijke dienst. Het werd met een aantal andere culturele instellingen samengevoegd tot de Dienst Kunsten. Het museum staat op dit moment aan de vooravond van een nieuwe, grote verbouwing. Dit betreft echter vooral de belendende panden, die worden verbouwd tot personeelsruimten en een depot.

In 1989 werd door de oprichting van de Dienst Kunsten ook de Commissie van Advies en Beheer opgeheven. Deze commissie, die vooral een adviserende taak vervulde, was in 1949 ingesteld. Vanaf dat jaar tot 1981 heette ze de Commissie van Toezicht. In de commissie zaten Gemeenteraadsleden en Dordtenaren, die zich nauw betrokken voelden bij het wel en wee van het Dordtse culturele leven.