In 1851 werd de Vereeniging tot beoefening der geschiedenis van 's-Gravenhage opgericht. De vereniging vroeg en kreeg in 1863 expositieruimte in het oude stadhuis en schonk haar collectie aan de gemeente. In die tijd kwamen er gemiddeld twee bezoekers per dag.
Op 29 mei 1866 werd de Vereeniging tot het oprichten van een Museum van Moderne Kunst opgericht. De vereniging heeft tot doel het bevorderen van de belangstelling in de ten Den Haag gevestigde of te vestigen gemeentelijke openbare verzamelingen van beeldende kunsten en wetenschappen. Zij tracht dit doel te bereiken door het verwerven van voorwerpen van beeldende kunst en kunstnijverheid door aankoop, ruil, schenking, legaat en op andere wijze welke voorwerpen door de vereniging ter beschikking gesteld kunnen worden van verzamelingen van beeldende kunsten en wetenschappen.
In 1871 kocht de gemeente het pand Korte Beestenmarkt 9, waar beide verenigingen hun collecties konden tonen. In 1884 verhuisde men naar de St. Sebastiaansdoelen. In 1887 werd de eerste directeur aan gesteld: A.J. Servaas van Rooijen. Zijn taak betrof alleen nog de Haagse historie; hij bemoeide zich niet met de moderne kunst.
In 1935 werd de naam gewijzigd in Vereeniging van Haagsche Museumvrienden, later in Vereniging van Haagse Museumvrienden.
Het archief van de vereniging over de periode 1873-1963 is in 1981 in bewaringgegeven. Later heeft er een eerste aanvulling plaatsgevonden waarna in 2011 de beide delen van een inventaris zijn voorzien.