Reeds bij het Keizerlijk Decreet van 21 oktober 1811 werden de arrondissementen (ingesteld bij Keizerlijk Decreet van 18 oktober 1810) in kantons verdeeld waarbij in elk kanton een Vredegerecht en een Rechtbank van enkele politie werden opgericht. Binnen de gemeentegrens van Amsterdam betrof deze verdeling zes kantons. De Kantongerechten werden ingesteld tengevolge van de Wet op de Zamenstelling der Regterlijke Magt en het Beleid der Justitie van 18 april 1827 (sinds 1 oktober 1972 Wet op de Rechterlijke organisatie geheten), welke wet werd ingevoerd op 1 oktober 1838. Voortvloeiende uit deze wet kwam er een wet van 22 december 1828 "betrekkelijk de regtelijke indeeling der provincie Holland ( noordelijk gedeelte )", die een nieuwe indeling gaf van de kantons in de arrondissementen in de huidige provincie Noord-Holland, waaronder 4 kantons binnen de gemeente Amsterdam, het 1ste kanton tevens met de gemeente Watergraafsmeer en omringdijk en het 4de kanton met de gemeenten Sloten, Sloterdijk, Osdorp en de Vrije Geer. Zodoende waren er 4 zetels van kantongerechten binnen de stad Amsterdam.

Na de invoering van de Wet op de Rechterlijke organisatie in 1838 was het 1ste Kantongerecht te Amsterdam gevestigd in het Raadhuis; het 2de in het Paleis van Justitie (in gebruik genomen in 1836). Over de plaatsing van het 3de en 4de Kantongerecht bestond er verschil tussen het bestuur van de stad Amsterdam en de minister van justitie. Het stedelijk bestuur beweerde, dat er geen aanschrijving of beschikking was, die de stad verplichten zou een van haar lokaliteiten af te staan; de minister beriep zich op uitdrukkelijke last van de Koning, welke bekrachtigd werd bij het Koninklijk Besluit van 18 november 1838. Tenslotte werden onder protest van ongehoudenheid op het Raadhuis enkele kamers door de stad beschikbaar gesteld. In 1856 begonnen de klachten over de weinige medewerking van de zijde van het gemeentebestuur. Wel was er indertijd voorzien in het hoogst nodige meubilair voor de zittingszalen van de kantongerechten, maar dat was in de loop der jaren bijna geheel versleten, terwijl de rechterlijke ambtenaren zelf voor het meubilair van hun kamers moesten zorgen. Een verzoek van de kantonrechters aan het gemeentebestuur om voorziening in deze toestand werd beantwoord met een verwijzing naar de minister van justitie, terwijl het weinige, dat er was bij nadere voorziening vanwege het Rijk werd teruggevraagd. De minister van justitie stelde toen fl 312,- voor meubilair beschikbaar.

Steeds weer trachtte het gemeentebestuur de kantongerechten uit het Raadhuis te verdrijven. Zo werd in 1858 opnieuw betoogd, dat de stad niet gehouden was in de behoefte aan lokalen te voorzien. De minister van justitie stelde daartegenover, dat artikel 4 van het Arrêté van 30 Fructidor l'an X (17 september 1802), welk Arrêté bij het Decreet van 6 januari 1811 ook voor Holland was van kracht verklaard, de stad die verplichting oplegde. Echter zou de minister in overweging nemen het Raadhuis te doen ontruimen, zodra elders een goede gelegenheid voor de kantongerechten was te vinden. Tengevolge hiervan werd nagegaan of het 4de Kantongerecht niet in het Paleis van Justitie was onder ter brengen. maar dit bleek niet mogelijk. Daarom werd aan het Departement van Financiën de beschikking gevraagd over het z. g. Sint Jorishof. Inderdaad werd het tot wederopzegging beschikbaar gesteld, waarna de stad het deed vertimmeren voor rekening van het Rijk, zodat het 4de kantongerecht er in kon worden gehuisvest.

Amsterdam wilde echter het Raadhuis geheel ontruimd hebben en vestigde daarom de aandacht van de minister op de lokalen naast het Sint Jorishof, waarin een handelsschool was gevestigd en die ook onder beheer van het Departement van Financien stonden. Om er de beide kantongerechten in te kunnen vestigen was er een verbouwing nodig, die de kap van het gebouw tot wederopzeggens toe af te staan. Het plan werd op 21 januari 1860 goedgekeurd, maar op die goedkeuring werd door de juist nieuw opgetreden minister van justitie op 24 maart van dat jaar teruggekomen. Deze laatste meende, dat het Paleis van justitie de aangewezen plaats was voor alle vier de kantongerechten en een onderzoek wees uit, dat dit plan zeer wel uitvoerbaar was, wanneer de stedelijke bibliotheek uit het Paleis van Justitie naar elders werd overgebracht. Daartoe moest aan Amsterdam een ander gebouw worden aangeboden en het met het Departement van Financiën gepleegde overleg had tot resultaat, dat een vroeger door de Nederlandse Handels Maatschappij gebruikt huis daartoe werd aangewezen. De onderhandelingen met de gemeente Amsterdam hadden tengevolge, dat het eigendomsrecht op gezegd huis werd afgestaan aan de gemeente en dat het Rijk eigenaar werd van het Paleis van Justitie. Na de verbouwing van het Paleis van Justitie in 1864 konden alle vier de kantongerechten aldaar gehuisvest worden, zodat op 1 januari 1865 het Sint Jorishof werd ontruimd.

Bij wet van 9 april 1877 tot vaststelling van het rechtsgebied en de zetels van de arrondissementrechtbanken en kantongerechten binnen het ressort van het gerechtshof te Amsterdam kwam er wederom een nieuwe kantonnale indeling, waarbij o.a. de grenslijnen vastgesteld werden van de vier kantons en Amsterdam. Bij deze vier geografische indelingen van de gemeente Amsterdam vielen tevens de gemeenten Watergraafsmeer en Diemen onder het 1ste Kanton, de gemeenten Nieuwer-Amstel, Ouder-Amstel, en Uithoorn onder het 2de Kanton, de gemeenten Buiksloot, Nieuwendam en Ransdorp onder het 3de Kanton en de gemeente Sloten onder het 4de Kanton. Tot 1889 konden alle rechtelijke colleges te Amsterdam in het Paleis van Justitie een onderkomen vinden, maar toen bleek het noodzakelijk een afzonderlijk gebouw voor de kantongerechten te bouwen, omdat er gebrek aan ruimte was ontstaan. Door het verbouwen van de cellulaire gevangenis aan de Weteringschans en van het Paleis van Justitie zou dit mogelijk worden. Met Amsterdam werd daarom een ruiling van gronden aangegaan. Daarbij ontstond evenwel weer verschil over de vraag wie eigenaar was van de grond, waarop de cellulaire gevangenis was gebouwd. In de akte van ruil werd daarom de clausule opgenomen, dat zo die grond al aan de stad mocht toebehoren, deze hem niet kon opvorderen, zolang de daarop gestichte of nog te stichten gebouwen zouden zijn bestemd voor de dienst van het Departement van Justitie of enige onder dat Departement ressorterende tak van staatsdienst. De ruil werd goedgekeurd bij de Wet van 1 februari 1890.

De vier kantongerechten werden nu ondergebracht in een nieuw gebouw, waarbij een conciërgewoning en een gebouw voor bewaarplaats van notariële archieven, alles aan de Weteringschans (later ging dit stukje Kleine Gartmanplantsoen heten) op het bovengenoemd door ruiling verkregen terrein. Tengevolge van de Wet van 5 juli 1910 tot regeling van o.a. de samenstelling van de kantongerechten, werden de vier Amsterdamse kantongerechten ontbonden (artikel 18, paragraaf 1) en ontstond er een enkel kantongerecht te Amsterdam in een kanton dat de samenvoeging was van de vier oude kantons. In verband met deze kantonale indelingen werden enige vertrekken in het gebouw gewijzigd ingericht. Bij wet van 17 november 1933 houdende wettelijke bepalingen in verband met de nieuwe vaststelling van het rechtsgebied en de zetels van de rechtbanken en kantongerechten werd o. a. het kantongerecht Purmerend ontbonden en werden de gemeenten Landsmeer, Ilpendam, Broek in Waterland, Monnickendam, Katwoude, Marken en Edam, die onder het kanton Purmerend ressorteerden, bij het kanton Amsterdam gevoegd.

Tengevolge van de Wet van 28 juni 1956, houdende wijziging in de rechtelijke organisatie (in werking getreden op 1 januari 1957) ging het parket van de Ambtenaar van het Openbaar Ministerie bij het kantongerecht een onderdeel uitmaken van het nieuw ingestelde arrondissementsparket bij de rechtbank en werden de Ambtenaar O.M. en de waarnemende Ambtenaren O.M. benoemd tot substituut-officieren van justitie. In verband met de naderende verkoop van de grond van het kantongerechtsgebouw en die van het aangrenzende Huis van Bewaring aan de gemeente voor een plan tot de bouw van een hotelcomplex (later werd dit plan ingetrokken) verhuisde het kantongerecht in 1975 naar een nieuw pand aan de Parnassusweg in Amsterdam-Zuid. Dit gebouw, waarvan de vierde verdieping bestemd werd voor het rechtercommissariaat van strafzaken bij de rechtbank en de vijfde, zesde en zevende verdieping ingericht werden als archiefruimte voor de diverse justitieonderdelen en voor de notariële archieven, werd op 23 juni 1975 feestelijk geopend door de toenmalige minister van justitie, Mr. A.A.M. van Agt. In 1977 werden daar ook de Raad van Beroep en het Ambtenarengerecht in gehuisvest en wel op de vierde verdieping, die nog ongebruikt was, omdat van het plan werd afgezien het rechtercommissariaat daar onder te brengen. Inmiddels is nu ook de vijfde verdieping door de Raad van Beroep in gebruik. In 1980 vond het Medisch Tuchtcollege ook onderdak in dit gebouw.