Op 2 mei 1842 stuurden vijf Dordtse notabelen, jonkheer J.C. Jantzon van Erffrenten van Capelle, jonkheer E. de Court van Valkenswaard, jonkheer J.N.J. Jantzon van Erffrenten van Babyloniënbroek, P. Blussé van Zuidland en C.G. 't Hooft, een circulaire aan stadgenoten, waarin zij opriepen deel te nemen aan de stichting van een museum van schilderijen, waarvoor werk van Dordtse kunstenaars verzameld zou worden. Aan deze oproep werd zodanig gehoor gegeven dat op 26 november 1842 de Vereniging 'Dordrechts Museum' werd opgericht. De 113 leden brachten samen met het gemeentebestuur, dat 10 aandelen voor haar rekening nam, een startkapitaal bijeen van ? 756. Bovendien stelde de gemeente de bovenzaal van de Boterbeurs in de Wijnstraat ter beschikking als tentoonstellingsruimte. Met uitzondering van de eerste werken die als schenking van een aantal notabelen in het bezit van het Dordrechts Museum kwamen, werden in de beginjaren schilderijen e.d. aangekocht door middel van een oproep aan Dordtse kunstenaars om werk aan te bieden. Na 1848 werden steeds vaker werken uit nalatenschappen of op veilingen verworven.

Al spoedig deden zich problemen voor, zoals bijvoorbeeld de beperkte openstelling van het museum. De leden konden de schilderijen slechts op afspraak bezichtigen. Op 18 juni 1844 werd besloten om alle bestuursleden een sleutel te geven, zodat de leden bij één van hen terecht kon als hij of zij de collectie wilde bekijken. Dit was echter te omslachtig en in de jaren 1847 - 1849 zeiden dan ook veel leden hun lidmaatschap op. Om enigszins tegemoet te komen aan de klachten werd het museum vanaf augustus 1849 elke eerste dinsdag van de maand opengesteld voor de leden en hun gasten. Ook dit was verre van ideaal, eigenlijk was het nodig om een conciërge te hebben. In de loop van de jaren '50 werd het ene zaaltje ook te klein om de groeiende collectie te huisvesten en werd er gezocht naar uitbreidingsmogelijkheden. Een ander probleem was de stroeve samenwerking met de gemeente. De komst van een nieuw bestuurslid, Herman de Kat van Oost- en West- Barendrecht en Carnisse, zou van grote betekenis blijken te zijn voor het museum. De Kat was bankier en kunstverzamelaar. Volgens hem was het teruglopend ledental niet alleen te wijten aan de beperkte openingstijden, maar ook aan de beperking die de stichters zich hadden opgelegd, namelijk dat alleen werk van Dordtse kunstenaars zou worden verzameld. Dit laatste werd met instemming van de leden veranderd.

De Gemeenteraad vond het wenselijk om enkele zaken vast te leggen in een reglement alvorens meer financiële en materiële steun aan het museum te geven. Het duurde nog tot 1857 voordat de Gemeenteraad en het museum het eens werden over de mate van gemeentelijke invloed en de noodzakelijk geachte verbouwing. Tussen 1857 en 1863 verloren de betrokkenen hun interesse in de formele gang van zaken. Er werd alleen vergaderd als het echt noodzakelijk was. In 1870 ging de gemeente nieuwe eisen stellen. Het museum zou alleen dan subsidie ontvangen als het één keer per maand gratis geopend zou zijn voor het publiek. De Vereniging voelde daar niets voor. De toekomst van het museum zag er daarom somber uit door geldgebrek. De redding kwam in de vorm van een legaat. In 1870 ontving het Dordrechts Museum namelijk een aanzienlijk legaat van het voormalig bestuurslid en de kunstverzamelaar Leendert Dupper. Behalve een geldbedrag schonk hij ook zijn verzameling moderne kunst aan de Vereniging.

In de zomer van 1882 werd het museum met een zaal uitgebreid. Tegen de eeuwwisseling was de collectie echter al weer zoveel groter geworden dat er dringend naar een grotere ruimte moest worden gezocht. Dit was ook nodig om aan de voorwaarden te voldoen om in aanmerking te komen voor een aanzienlijke schenking van Ary Scheffer, een persoonlijke vriend van De Kat. De goede verstandhouding tussen Scheffer en De Kat leidde ertoe dat Ary Scheffer het museum enkele werken schonk. Ook zijn dochter, Cornelia Marjolin, bleef het museum een warm hart toe dragen: bij het overlijden van haar echtgenoot in 1899 vermaakte zij per legaat een aanzienlijk bedrag aan het museum. Dit moest deels worden gebruikt voor het aankopen van kunstwerken en deels als een fonds voor jonge Dordtse kunstenaars. Dit fonds werd het Ary Schefferfonds genoemd en valt nog altijd onder de verantwoordelijkheid van de Vereniging.

In 1902 volgde een nieuw contract met de gemeente, waarin werd vastgelegd dat het museum het voormalige Krankzinnigengesticht aan de Vest kosteloos in gebruik mocht nemen als museumgebouw. Wel moest de Vereniging een bijdrage leveren aan de verbouwingskosten. Het gelegateerde bedrag van Cornelia Marjolin werd hiervoor bestemd. Daarnaast moest nog een bedrag van ? 5000 worden betaald. Op 6 juli 1904 was het zover. Het nieuwe museum kon feestelijk worden geopend.

Vanaf de oprichting vormde het bestuur van de Vereniging tevens het bestuur van het museum. Het bestuur vergaderde doorgaans twee maal per jaar; de eerste vergadering over de financiën en de oproep aan kunstenaars, de tweede keer over de bezichtiging en aankoop van schilderijen. In het reglement van 1857 werd vastgelegd dat er naast het bestuur ook een Raad van toezicht moest worden gevormd om de jaarrekeningen en eventuele verkopen uit de verzameling goed te keuren. De voorzitter werd de burgemeester van Dordrecht. In het reglement van 1857 is ook vastgelegd, dat de gemeente het museum van een financiële bijdrage zou voorzien en tevens moest zorgen voor een geschikt onderkomen voor de collectie. Hoewel volgens dit reglement de gemeente toezicht had op de Vereniging, behield het bestuur toch in grote mate haar zelfstandigheid.

Naarmate de collectie groeide en er meer tentoonstellingen werden georganiseerd, werd de belasting voor de bestuursleden groter. In 1918 werd op de jaarvergadering in mei voor het eerst te kennen gegeven, dat er behoefte bestond aan een directeur voor het museum. Jonkheer E.W.C. Six werd op 1 juli 1921 tot eerste directeur benoemd. Vanaf 1923 combineerde hij deze functie met die van conservator van Museum Mr Simon van Gijn, een ander museum in Dordrecht. Six bleef in functie tot 1947, toen hij werd opgevolgd door de interim-directeur D.F. Lunsingh Scheurleer, rijksadviseur voor de musea.

Na afkondiging van de mobilisatie op 28 augustus 1939 werd het museum gesloten. Er werden maatregelen getroffen om de belangrijkste werken uit de collectie in veiligheid te brengen. Ongeveer 130 belangrijke werken konden worden ondergebracht in de kluizen van de Nederlandse Bank en de Incassobank. Een deel van de collectie bleef nog voor het publiek toegankelijk. Ondanks de oorlog zag men nog kans om in samenwerking met de V.V.V. in 1942 een tentoonstelling te organiseren over 'Groeiend Dordrecht'. Deze tentoonstelling trok 15.000 bezoekers. In mei 1944 werden nog een aantal schilderijen, samen met een deel van de collectie van Museum Boymans van Beuningen, ondergebracht in een bomvrije schuilplaats van het rijk bij Heemskerk. De bovenverdieping van het Dordrechts Museum werd vervolgens ontruimd. De resterende werken werden in een brandvrije ruimte bewaard, samen met waardevolle stukken van Dordtse particulieren en de collectie van het Rijksmuseum Van Bilderbeek-Lamaison. Het museum werd in 1947, na de terugkeer van de in veiligheid gebrachte werken en de nodige reparatiewerkzaamheden, weer heropend.

In 1949 werd de tweede directeur, L.J. Bol, benoemd. Hij zou tot 1965 directeur van het museum blijven. Hij werd in dat jaar opgevolgd door P.N.H. Domela Nieuwenhuis. Met zijn komst werd tevens een nieuwe fase in het bestaan van het museum ingeluid. Aangezien de Vereniging niet langer in staat was de financiële lasten van het personeel en de exploitatie te dragen, machtigden de leden het bestuur om samen te werken met de gemeente. Dit leidde tot de oprichting van de Stichting tot beheer en exploitatie van het Dordrechts Museum. Omdat er geen consensus kon worden bereikt over het voortbestaan van het museum als gemeentelijke instelling, is voor deze interimvorm gekozen. Hoewel de gemeente het museum dus al vanaf het begin subsidieerde, was en bleef de gemeentelijke bemoeienis met de exploitatie beperkt. Bovendien bleven de schilderijen en andere kunstvoorwerpen het eigendom van de Vereniging. In de loop van de jaren '70 kwamen er nieuwe onderhandelingen op gang tussen de Vereniging 'Dordrechts Museum' en de gemeente. Deze leidden er toe, dat op 1 oktober 1978 het Dordrechts Museum een gemeentemuseum is geworden. Vanaf 1989 is het museum een onderdeel van de Dienst Kunsten van de gemeente Dor- drecht.