Op 19 september 1850 ontving de raad een uitgewerkt voorstel tot oprichting van een school voor gymnastische oefeningen. De raad ging op dit voorstel in en kende in de raadsvergadering van 21 oktober 1850, voor de eerste twee jaren een subsidie van f100,- per jaar toe.
De school die uit dit voorstel ontstond was de Gymnastiek- en Schermschool, later de Gymnastiek- en Schermschool genoemd.
Als lesruimte werden lokalen in de oude garnizoensgebouwen in de Pontsteeg toegewezen. In 1851 werd het reglement vastgesteld, dat onder andere het bestuur van de school regelde. Het bestuur werd gevormd door vijf leden, benoemd door de gemeenteraad. Het werd belast met de handhaving der orde en droeg zorg voor het verloop van de lessen.
Per 1 november 1867 werd de taak van het bestuur overgenomen door de Commissie van Toezicht op de Scholen van Middelbaar Onderwijs.
Toen 1870 de HBS het verbouwde garnizoensgebouw in de Pontsteeg betrok, kwam de Gymnastiek- en Schermschool onder de directeur van de HBS, terwijl de Commissie van Toezicht op de scholen van Middelbaar Onderwijs belast bleef met het toezicht.

Doordat gymnastiek op bijna alle scholen op werd genomen in het lesrooster, viel de reden van bestaan van de Gymnastiek- en Schermschool weg. In het jaarverslag van 1901 schreef de directeur: "Misschien zou het aanbeveling verdienen, door nog een kleine uitbreiding te geven aan het gymnastiek onderwijs op de Lagere Scholen, de Gymnastiek- en Schermschool op te heffen". Deze raad werd door het gemeentebestuur niet opgevolgd. Dat de toestand van de school niet verbeterde blijkt uit het jaarverslag van 1906 waarin door de directeur der HBS werd geschreven: "een voorstel om thans inderdaad tot opheffing over te gaan, mag met het oog op de schaarsche schoolbevolking der laatste jaren, zeker niet ontijdig genoemd worden". Het duurde echter nog tot 1909 alvorens de gemeenteraad besloot om aan het kwijnende bestaan van de Gymnastiek- en Schermschool een einde te maken. Bij het raadsbesluit van 23 augustus 1909 werd de Stedelijke Gymnastiek- en Schermschool met ingang van 1 september 1909 opgeheven.