Haarlem was een van de eerste Noord-Nederlandse steden met een eigen 'librije'. Na het Spaanse beleg (1572-1573) bepaalden de prins van Oranje en de Staten van Holland dat kloostergoederen - waaronder het bezit aan boeken - aan Haarlem toekwamen als tegemoetkoming voor de geleden schade. Hiermee werd de basis gelegd voor de huidige Stadsbibliotheek. In 1596 besloot de Haarlemse vroedschap (het stadsbestuur) tot stichting van een bibliotheek met als eerste onderkomen (waarschijnlijk) de ruimte boven de Sacristie in het Dominicanenklooster, tegenwoordig onderdeel van het Haarlemse stadhuis. In 1625 verwierf Haarlem de complete bibliotheek van de Commanderij van Sint Jan. In 1672 verscheen de eerste gedrukte catalogus van het toenmalige bezit van de Stadsbibliotheek, groot 35 pagina's. De eerstvolgende catalogus verscheen in 1716. De bibliotheek werd in deze periode voornamelijk door wetenschappers bezocht. Pas in 1821 werd de eerste echte bibliothecaris aangesteld: Abraham de Vries. De Vries had grote bewondering voor de Haarlemse drukker Lourens Janszoon Coster en was ervan overtuigd dat deze de boekdrukkunst had uitgevonden. Hij kocht daarom alles wat daarover en over Coster verscheen. Het vormde de basis voor 'Costeriana': een uitgebreide verzameling over Coster, boekdrukkunst en typografie. In 1921, nam het Haarlemse stadsbestuur het initiatief om aan de Stadsbibliotheek een tweede functie toekennen: die van openbare leeszaal die werd samengevoegd met de Stadsbibliotheek en in gebruik genomen in 1922. Dit belangrijke besluit betekende dat men zich bij het aanschafbeleid op een veel breder publiek ging richten, onder meer kwam er een, vanaf aanvang bloeiende, Muziekbibliotheek tot stand.
In deze periode werd ook een roomskatholieke openbare leeszaal en bibliotheek opgericht.

Via tussenstappen kwam het in 1971 tot een volledige fusie tussen de twee bibliotheken. Het bestuur van de nieuw-ontstane instelling werd toevertrouwd aan een 'Beheerscommissie'. [Zie hiervoor ook inventarisnummer 21 en het jaarverslag over 1972 en 1973, (inventarisnummer 2)]. Als openbare bibliotheek is de Stadsbibliotheek aangesloten bij het landelijk netwerk van openbare bibliotheken, verenigd in de koepelorganisatie 'Vereniging van Openbare Bibliotheken'. Deze organisatie zet zich in voor de ontwikkeling van een gezamenlijke visie en strategie voor de gehele bibliotheekbranche. De bibliotheek heeft - sinds 1969 - ten behoeve van de provincie Noord-Holland een regionale steunfunctie (RSF) - later wetenschappelijke steunfunctie (WSF) - in samenwerking met de Openbare Bibliotheek Amsterdam. Deze functie bestaat uit de literatuurvoorziening ten behoeve van wetenschappers, studenten en andere geïnteresseerden. Naast de centrale bibliotheek, eerst in de Prinsenhof later aan het Doelenplein, bestond de Stadsbibliotheek Haarlem rond 1980 uit de filialen 'Huis te Zaanen' (Noord), 'Oud Schoten' (eveneens Noord), 'Oost', 'Schalkwijk' alsmede de Jeugdbibliotheek aan de Schouwtjeslaan, de uitleenpost te Spaarndam en de mobiele 'Bibliobus'. Nieuwbouw werd gerealiseerd voor de filialen Schalkwijk (Fie Carelsenplein) in 1986 en 'Noord' (Planetenlaan) in 1990.

Deze groei werd veroorzaakt door een aanzienlijke stijging van de aantallen bezoekers, tot uiting gebracht in de jaarcijfers.
In 1973 bijvoorbeeld, bestond het totale boekenbezit uit 360.609 exemplaren. In 1982 was dit bezit al doorgestegen naar 551.637 exemplaren. In datzelfde jaar telde de Stadsbibliotheek 49.343 ingeschreven lezers en werden er 2.271.292 boeken uitgeleend.
Naast de bibliotheek nam de zogeheten mediatheek (muziekbibliotheek, phonotheek) gedurende de beschreven periode steeds meer in belang toe: de uitleen van audiovisuele gegevensdragers zoals geluidsbanden, diaseries en muziek- en videocassettes groeide in korte tijd sterk.
De in de jaren vijftig gestarte 'Bibliobus', de rijdende bibliotheek en boekenbus, verdween daarentegen in 1987 als gevolg van financiële problemen.
De 'Wisselbibliotheek' die werd ingesteld ten behoeve van de lectuurvoorziening van bejaarden, zieken en andere hulpbehoevenden via thuisbezorging vervulde tot 1989 haar nuttige taak maar sneuvelde als gevolg van het doorvoeren van forse bezuinigingen door het rijk.
De "Oude Boekerij en Bijzondere Collecties'' vormt een afdeling die collecties oude tot zeer oude boeken en uitgaven ('Incunabelen') verzamelt, beheert en uitleent en daarover informatie verschaft aan wetenschappelijke onderzoekers en andere geïnteresseerden in binnen- en buitenland. De afdeling heeft tevens gepubliceerde overzichten verzorgd van de Nederlandse 'boekkunst' en van 'het kinder- en prentenboek sinds de 17e eeuw', [zie ook inventarisnummer 78]. De uiterlijke verzorging van de boeken is toevertrouwd aan een eigen 'binderij' met 3 man personeel.
De Stadsbibliotheek Haarlem beschikt over een nagenoeg complete verzameling (althans na 1720) van het Haarlems Dagblad/Oprechte Haarlemsche Courant, de oudst nog bestaande Nederlandse krant en een unieke bron voor de studie van geschiedenis, kunst en cultuur over de laatste vier eeuwen.