De eerste predikant die zich afscheidde was ds. H. de Cock te Ulrum. Hij was in conflict gekomen met de kerkelijke besturen door het dopen van kinderen uit andere gemeenten (omdat de ouders de eigen predikant te vrijzinnig vonden) en door godsdienstig onderwijs te geven aan leden die eveneens uit een andere gemeente afkomstig waren. Bovendien had hij twee collega's aangevallen in een strijdschrift "De schaapskooi van Christus aangetast door twee wolven" en een prijzende voorrede geplaatst in een boekje van Jacobus Klok, dat de Evangelische gezangenbundel uit 1806 op heftige wijze veroordeelde.

Aanvankelijk was De Cock tijdens zijn daarop volgende schorsing nog niet van plan om zich van de Hervormde Kerk af te scheiden, maar dacht hij zich op de koning te beroepen. De gebeurtenissen in oktober 1834 hebben echter de breuk met de Hervormde Kerk verhaast. De gemeente van Ulrum hoopte in ds. H.P. Scholte, destijds nog predikant in volle rechten te Doeveren, Gansoyen en Genderen, toen hij aldaar enige dagen verbleef, weer een rechtzinnig predikant te horen.

Toen aan ds. Scholte werd belet om in Ulrum voor te gaan, was het geduld van de gemeente ten einde. Men had enkele maanden in de schorsing van de eigen predikant berust, maar nu was de maat vol. Op 13 oktober verbrak de kerkeraad de band met het hervormde kerkgenootschap. De dag daarop volgde het overgrote deel van de gemeente. Van deze daad werd een akte opgemaakt, die bekend staat als "de akte van afscheiding of wederkeering".

De "Opzienderen en litmaten der Gereformeerde Gemeente van Jezus Christus te Ulrum" verklaarden in deze aktie "geen gemeenschap meer te willen hebben met de Nederlandsche Hervormde Kerk, tot dat deze terug keert tot de waarachtige dienst des Heeren". * 

Slechts enkele predikanten volgden in de jaren 1834-1836 het voorbeeld van De Cock en scheidden zich af van het hervormde kerkgenootschap. Dat waren in de eerste plaats de reeds genoemde ds. H.P. Scholte en voorts de predikanten G.F. Gezelle Meerburg, A. Brummelkamp, S. van Velzen, Joh. van Rhee en H.J. Budding. * 

Voor de afgescheiden predikanten en hun volgelingen waren de moeilijkheden niet gering. Weliswaar hadden zij zich losgemaakt van het hervormde kerkgenootschap, maar het was hun niet toegestaan om eigen gemeenten te vormen. Zij pretendeerden de ware voortzetting te zijn van de oude Nederduitsche Gereformeerde Kerk. Voor de afgescheidenen brak dan ook, toen zij hun eigen godsdienstoefeningen wilden houden en gemeenten wilden stichten, een tijd van vervolging aan. De regering beriep zich op de grondwet van 1815 en op het wetboek van strafrecht toen zij de afgescheidenen verbood eigen godsdienstoefeningen te houden. De grondwet verleende alleen bescherming aan bestaande godsdiensten en kerkgenootschappen. * 

Nu stelde de regering zich op het standpunt dat de afgescheidenen een nieuwe gezindheid vormden. De afgescheidenen zelf beschouwden zich echter als de aanhangers van de wettige gereformeerde godsdienst (de voortzetting van de aloude Gereformeerde Kerk). Behalve op de grondwet beriep de regering zich op het wetboek van strafrecht, dat samenkomsten (ook godsdienstige bijeenkomsten) verbood als daarvoor niet de toestemming van de regering was verkregen. Enige aanwijzingen hoe zij vrijheid van godsdienstoefening konden verkrijgen, ontvingen de afgescheidenen door het koninklijk besluit van 5 juli 1836.

Hierin stond vermeld dat, wanneer er in een plaats "een eenigszins aanmerkelijk aantal personen" mocht zijn die een gemeente wilden vormen, zij zich in een individueel ondertekend adres tot de regering moesten wenden, waarbij zij moesten verklaren "zelven te zullen zorgen voor de behoefte van hunnen eeredienst en armen, zonder. op eenige bezittingen, inkomsten of regten van de Hervormde (Gereformeerde) Kerk. ooit aanspraak te zullen maken". En voor zover zij inmiddels, afgedacht van gemeentevorming, boven het getal van twintig godsdienstig wilden samenkomen, moesten zij zich daartoe vervoegen bij de bestuurders van hun woonplaatsen. Ze moesten aan hen een opgave doen van de namen en woonplaatsen van de deelnemers alsmede van de dagen en uren waarop en van het lokaal waarin deze samenkomst zou plaatsvinden. Aan deze voorwaarden voor het samenkomen boven de twintig was praktisch niet te voldoen. En zo bleven de afgescheidenen aan vervolging bloot staan.

Intussen gingen er verschillende stemmen van niet-afgescheidenen op, die ernstige kritiek op dit regeringsbeleid uitoefenden. Eén van die stemmen was van de bekende réveilman Groen van Prinsterer. Hoewel zelf niet afgescheiden sprong hij voor de vervolgden in de bres. "De Afgescheidenen", betoogde hij, "zijn geene nieuwe secte; zij zijn leden der Gereformeerde Gezindheid. Als zoodanig hebben zij, met de leden van het Hervormd Kerkgenootschap, aanspraak op die gelijke bescherming, welke aan alle bestaande Gezindheden toegezegd is". * 

Het zou nog tot 1839 duren eer de eerste Afgescheiden Gemeente erkend werd. Daarbij moest men afstand doen van de naam "Gereformeerd". Bij koninklijk besluit van 14 februari 1839 werd de gemeente van Utrecht officieel erkend als eerste "Christelijke afgescheiden gemeente" in ons land. Al spoedig volgden de meeste afgescheiden gemeenten in ons land het Utrechtse voorbeeld.

De naam van de afgescheiden gemeenten leverde nogal wat moeilijkheden op. Zoals reeds eerder is vermeld, werd de naam "Gereformeerde Kerk", waarop de afgescheidenen aanspraak meenden te maken, door de overheid niet toegestaan voor de nieuwe kerkformatie. In de eerste jaren na de Afscheiding werd veelal de naam "Gemeente Jesu Christi" gebruikt. Daarna werd er gesproken over de "Afgescheiden Gereformeerde Gemeenten in Nederland", terwijl rond 1846 de naam "Christelijk Afgescheiden Gereformeerde Kerk in Nederland" officieel voorkomt. Al vrij spoedig begonnen de verschillende afgescheiden gemeenten contact met elkaar te zoeken. Zo kwamen op 8 april 1835 de ouderlingen en afgevaardigden van zestien gemeenten uit de provincies Groningen, Friesland en Drenthe bijeen om enige zaken van gemeenschappelijk belang te bespreken. Deze "eerste algemene vergadering der onderscheidene Christelijke Gereformeerde Gemeenten" kunnen we beschouwen als de eerste provinciale kerkvergadering. * 

Na deze bijeenkomst ontstonden geleidelijk aan in het gehele land provinciale kerkvergaderingen, die vervolgens werden onderverdeeld in classes. Voor de inrichting van hun kerkverband sloten zij zich aanvankelijk zoveel mogelijk aan bij de Dordtse kerkorde van 1618/1619. De verschillende provinciale kerkvergaderingen zonden hun afgevaardigden naar de landelijke algemene synode. In maart 1836 kwam in Amsterdam de eerste algemene synode van de afgescheidenen bijeen. Daar kwam een aantal zaken van algemeen belang aan de orde, zoals het examen voor a.s. predikanten, boekencensuur, bijbelvertaling, psalmberijming e.a.

In de daaropvolgende jaren bleek steeds meer dat eenheid onder de afgescheidenen ver te zoeken was. *  Tijdens de synode van Utrecht (1837) kwamen de bezwaren ter sprake die ds. De Cock had tegen onder meer de doopbeschouwing en het kerkbegrip van ds. Scholte. Een belangrijk twistpunt tijdens deze en latere synoden vormde de Dordtse kerkorde. De Utrechtse synode nam een aangepaste versie van deze kerkorde aan. Een groep afgescheidenen die de kerkorde onveranderd wilde handhaven en die bovendien bezwaar had tegen het prijsgeven van de naam "gereformeerd" splitste zich korte tijd daarna af en vormde een eigen kerkgenootschap onder de oude naam Gereformeerde Kerk (met als toevoeging "onder het kruis", waarmee bedoeld werd "in verdrukking", daarmee teruggrijpend op een reeds bestaande aanduiding in de 16e eeuw).

Ook sloten de door ds. H.J. Budding geïnstitueerde Zeeuwse gemeenten zich daarbij niet aan, deels om dezelfde redenen, deels vanwege hun bezwaren tegen de psalmberijming van 1773.

Lang bleef de herziene kerkorde niet van kracht want de synode van Amsterdam (1840) besloot de oude Dordtse kerkorde weer in ere te herstellen. Deze synode besteedde ook aandacht aan de zogenaamde "Amsterdamse twist", het conflict tussen de predikanten Scholte en Van Velzen en hun aanhang. Scholte werd schuldig bevonden aan laster en scheurmaking, iets wat door hem werd ontkend. Een schorsing volgde. De onderlinge verdeeldheid in de boezem van de christelijk afgescheiden gemeenten nam na deze synode nog meer toe. In de provincie Zuid-Holland was het inmiddels tot een scheuring gekomen tussen de aanhangers van de oude Dordtse kerkorde en de volgelingen van Scholte, die er een eigen kerkorde op na hielden. De synode van 1843 te Amsterdam bracht geen verzoening tussen de beide groepen. Integendeel, de strijd tussen voor- en tegenstanders van de Dordtse kerkorde werd steeds feller. Op de derde zittingsdag van de synode verlieten de tegenstanders, onder wie de predikanten Scholte, Brummelkamp en Van Kaalte, de vergadering. De achterblijvers constitueerden zich als synode en gingen nog enige dagen door met het behandelen van verschillende zaken. Officiële handelingen van deze synode zijn nimmer opgemaakt. * 

Met Scholte en zijn aanhang is het nimmer tot een verzoening gekomen. In 1847 vertrok deze met een groot gedeelte van zijn volgelingen naar Noord-Amerika. Ook andere groepen afgescheidenen (waaronder de predikanten A.C. van Kaalte en C. van der Heulen) verlieten, voornamelijk om redenen van godsdienstige en economische aard, het vaderland en stichtten in de Amerikaanse prairies enige Nederlandse kolonies. Het heeft verschillende jaren geduurd eer de eenheid onder de afgescheidenen enigszins hersteld was.

Tijdens de synode van Zwolle (1854) vond de verzoening plaats met de groep rond ds. Brummelkamp (één van de predikanten die in 1843 de synode verliet). Diezelfde synode besloot tot de oprichting van de Theologische School, die in Kampen werd gevestigd. De Gereformeerde Kerk onder het kruis Voor de gemeenten van dit kerkverband gingen de vervolgingen ook na 1839 nog vele jaren door, omdat zij geen erkenning bij de overheid wilden aanvragen en bovendien niet bereid bleken de naam gereformeerd prijs te geven. Ondanks deze druk bleven zij bestaan en hielden zij regelmatig onderling contact door het houden van landelijke algemene vergaderingen. De eerste algemene vergadering vond plaats op 28 juni 1838 ten huize van diaken C.T. van Ommen te Zwolle. Hier kwamen de afgevaardigden van de gemeenten van Zwolle, Deventer, Kampen, Zalk, Rouveen, Mastenbroek, Woerden, Linschoten en Hasselt bijeen. Men besloot op deze vergadering tot een heruitgave van de Dordtse kerkorde. Van die eerste vergadering zijn helaas geen geschreven of gedrukte notulen bewaard gebleven. Datzelfde geldt ook voor de beide daarna gehouden vergaderingen, die respectievelijk in 1840 te Mastenbroek en in 1841 te Kampen plaatsvonden. * 

De eerste algemene vergadering, waarvan de notulen in druk verschenen zijn, is die van Linschoten (1844). Het belangrijkste agendapunt van die vergadering vormde het examen van de Rotterdamse oefenaar Cornelis van den Oever (1807 -1877). Deze kleurrijke voorganger, door F.L. Bos in zijn boek "Kruisdominees" aangeduid als "de Paus der kruisgezinden", heeft als geen ander in de jaren veertig en vijftig van de vorige eeuw zijn stempel gedrukt op de Gereformeerde Kerk onder het kruis. Zijn eigenmachtig en star optreden in tal van kwesties werd hem op de duur noodlottig. In 1858 speelde hij de hoofdrol in een conflict dat in de kruisgemeenten een scheuring te weeg zou brengen. * 

De notulen van de algemene vergaderingen in 1858 en 1859 zijn vrijwel geheel aan dit conflict gewijd. Er bestonden nu twee groepen kruisgemeenten naast elkaar. Het kerkverband van de Van den Oevergroep was geen lang leven beschoren. In 1864 kwam Van den Oever in conflict met zijn Rotterdamse kerkeraad. Een schorsing was het gevolg. De groep viel daarna uiteen. De meeste gemeenten keerden terug binnen het oude verband van de Gereformeerde Kerk onder het kruis. Enkele sloten zich aan bij de Christelijke Afgescheiden Gereformeerde Kerk. In de notulen uit de periode vóór 1860 lezen we zo nu en dan iets over onderhandelingen tussen de kruisgezinden en de christelijke afgescheidenen. Door het conflict rond Van den Oever waren deze onderhandelingen (tijdelijk) gestaakt. Tijdens de algemene vergadering in 1860 werd besloten weer met de onderhandelingen verder te gaan. Een van de onderhandelaars, ds. W.H. Gispen te Vlissingen, zag in tegenstelling tot zijn mede-onderhandelaars, geen enkel obstakel meer op de weg naar deze vereniging. Met zijn kerkeraad en een groot gedeelte van zijn gemeente maakte hij dan ook de overstap naar de Christelijke Afgescheiden Gereformeerde Kerk. Bij enkele andere kruisgemeenten vond hij navolging. Het heeft echter nog tot 1869 geduurd eer de vereniging van de christelijke afgescheiden gemeenten met het overgrote deel van de kruisgemeenten een feit werd. De naam van het uit deze vereniging ontstane kerkgenootschap werd "Christelijke Gereformeerde Kerk".