De aanleiding tot de oprichting van een Openbare leeszaal en bibliotheek te Dordrecht was een artikel van de toenmalige gemeentesecretaris A.R. Zimmerman in De Gemeentestem. van 17 oktober 1898 handelende over het grote nut van gemeentebibliotheken voor de kleinere steden. Diezelfde maand nog richtte A. Meijroos van de Dordrechtsche courant. een oproep tot de Dordtse burgerij met het verzoek de stichting van een openbare leeszaal te steunen. Hij ontving ruim vijftig adhesiebetuigingen, waarna op 1 november 1898 in café 'Central' een drukbezochte vergadering plaatsvond. De nieuwe leeszaal moest neutraal worden en tegen een lage contributie voor iedereen toegankelijk zijn. Er werd een commissie gevormd voor het ontwerpen van statuten en een huishoudelijk reglement. Op 1 december 1898 was de Vereniging tot instandhouding van een openbare leeszaal en bibliotheek te Dordrecht een feit. Deze gebeurtenis was van meer dan plaatselijk belang. Als eerste bibliotheek in Nederland verwierp men principieel en consequent de uitsluiting van bepaalde groepen lezers. Nadrukkelijk werd het recht van goede lectuurvoorziening voor iedere burger erkend en onpartijdigheid in boekenkeuze zowel als in bestuur gegarandeerd.

Inmiddels waren vele toezeggingen binnengekomen van toekomstige leden tot een bijdrage in de oprichtingskosten en/of het aanvaarden van het lidmaatschap. Hierdoor kon in de Wilhelminastraat een klein bovenhuis gehuurd worden. Vele leden schonken boeken of boden zelfs hun gehele bibliotheek aan. Ook werden reeds gelezen tijdschriften aangeboden. Als officiële stichtingsdatum staat in de statuten 20 april 1899 vermeld. Op 1 mei 1899 opende de enige dagen later tot burgemeester benoemde A.R. Zimmerman de nieuwe leeszaal, die zich snel in een grote belangstelling mocht verheugen. Door de snelle groei was men echter genoodzaakt in december 1900 naar enkele lokalen van het Tekengenootschap 'Pictura' op de Voorstraat te verhuizen. Toen deze ruimten eveneens te klein waren geworden, besloot de gemeente het voormalige museum aan de Wijnstraat gratis aan de Openbare leeszaal en bibliotheek ter beschikking te stellen. Op 4 oktober 1904 werd dit gebouw door burgemeester Zimmerman geopend. Het aantal bezoekers per dag steeg van 15 in mei 1899 tot 150 à 200 in 1905. In dat jaar was het aantal leden sedert de oprichting gestegen van 368 tot 1204.

Al had men de beschikking over een gratis behuizing, de exploitatie kon onmogelijk geheel door de leden bekostigd worden. In 1906 besloot de gemeente dan ook tot het verlenen van subsidies. Ook had zij reeds een stem in het bestuur verkregen. Dankzij ledental en subsidies kon de leeszaal uitgroeien tot een belangrijke instelling, die door het stichten van agent- of correspondentschappen in gemeenten in de omgeving ook het platteland van lectuur is gaan voorzien. De correspondentschappen hielden echter na de Tweede Wereldoorlog alle op te bestaan. Als laatste werd in 1965 die van 's-Gravendeel overgenomen door de Centrale plattelandsbibliotheek van Zuid-Holland. Ook verzorgde de Openbare leeszaal en bibliotheek de lectuurvoorziening van de gemeentescholen en voorzag zij het personeel van enkele grote bedrijven door middel van wisselcollecties van de nodige literatuur. De jeugd werd passende lectuur geboden door de Vereniging 'Kinder- en jongeliedenbibliotheek', opgericht omstreeks 1904, die over een eigen bestuur en middelen beschikte, doch beheerd werd door een commissie waarin de Openbare leeszaal en bibliotheek de meerderheid had. Op 4 juli 1946 werd besloten de Kinderbibliotheek ook bestuurlijk geheel op te nemen in de Openbare bibliotheek.

In 1948 bedroeg het aantal banden ruim 63.000, terwijl jaarlijks meer dan 100.000 uitleningen plaatsvonden aan een kleine 4.800 leden. In 1951 werd een filiaal in gebruik genomen in een gebouwtje op het Marisplein in Krispijn, van waaruit men in 1962 verhuisde naar een lokaal in de Stephanuskerk aan de Talmaweg in de wijk Crabbehof. Evenals het filiaal in Krispijn werd de nieuwe ruimte gedeeld met de Christelijke openbare leeszaal en bibliotheek, die haar hoofdgebouw had aan de Groenmarkt. De plannen tot het realiseren van een filiaal in Sterrenburg leidde tot een innige samenwerking met de christelijke en roomskatholieke bibliotheken. Het bestaan van één algemene en twee confessionele bibliotheken werd hoe langer hoe meer als inefficiënt en achterhaald ervaren. De op 1 juli 1969 door het College van burgemeester en wethouders ingestelde commissie, bestaande uit de drie bibliotheken, de gemeente, de Rijksinspectie voor openbare bibliotheken, de Centrale vereniging voor openbare bibliotheken en de Culturele raad Dordrecht, bracht in maart 1970 een verslag uit, dat het samenvoegen van de drie bibliotheken mogelijk maakte. De Stichting 'Verenigde openbare bibliotheken te Dordrecht' werd in de loop van dat jaar een feit. Het gebouw aan de Wijnstraat werd verlaten en op 21 december 1970 werd gezamenlijk het hoekpand Achterom 5 in gebruik genomen. De Christelijke bibliotheek aan de Groenmarkt en de Roomskatholieke in het Steegoversloot werden gesloten.

Overigens bleek dit een voorlopige behuizing. Aanvankelijk wilde men in 'De klont' (een opeenhoping van gebouwen met culturele inslag) een bibliotheek projecteren. Later werd dit 'Klontplan' echter weer losgelaten, waardoor de bibliotheek voorlopig in haar te kleine ruimte moest blijven zitten. Het ruimtegebrek werd bovendien nog vergroot, doordat in 1976 de Artotheek in hetzelfde gebouw werd gehuisvest. Ondanks de Wet op het openbaar bibliotheekwerk, die onder andere de vergoeding van kosten door de gemeente regelde, kampte de bibliotheek in de jaren 70 met financiële problemen. De toeloop van jeugdige lezers, veroorzaakt door de wettelijk geregelde contributievrijdom, kon daardoor niet voldoende opgevangen worden, zodat in 1975 (als primeur voor Nederland) tot een uiterst onsympathieke lezersstop moest worden overgegaan. Dit leidde tot de oprichting van het Lezerskommittee, dat met succes tegen de maatregel protesteerde. In 1986 vond tenslotte de laatste verhuizing plaats. De bibliotheek betrok toen het geheel gerenoveerde en voor de nieuwe bestemming verbouwde pand 'De gulden os' aan de Groenmarkt.