Dieptepunten in de geschiedenis van het illegale VN vormden de arrestaties van en processen tegen verspreiders en medewerkers. In oktober 1941 werden achtentwintig personen berecht door het Marinegericht. Tegen het vonnis werd beroep aangetekend, hetgeen resulteerde in een nieuwe zitting in juli 1942. Vijfenzestig mensen stonden terecht voor het Deutsche Obergericht als Sondergericht. Van de groep VN-medewerkers keerden er vele, onder wie J. van der Neut en J. Peppink, niet terug. Van der Neut overleed in het tuchthuis Siegburg aan vlektyfus, en Peppink overleed als gevolg van mishandelingen in september 1942 in Duitsland.

De jaren 1942, 1943 en 1944 kenmerkten zich door een gestadige uitbouw van de W-organisatie. De massa-arrestaties, die in 1941 de gehele organisatie in gevaar bracht, kwamen niet meer voor. De groeiende ervaring in het illegale werk en de niet aflatende aandacht die Van Randwijk gaf aan de veiligheidsaspecten binnen de VN-organisatie waren hier debet aan. Ondanks de strikte veiligheidseisen en instructies, die Van Randwijk stelde aan de organisatie, bleven arrestaties echter niet uit. In november 1943 viel, door verraad, het verspreidingsapparaat van hoofdverspreider Jan Lohmann in Haarlem in handen van de Duitsers. Jan Lohmann en zijn broer Cor Lohmann overleden in Siegburg aan vlektyfus en zijn oom Willem Adolf Lohmann overleed aan ziekte, opgedaan tijdens 4 maanden gevangenschap. De arrestaties van Jan Lohmann en zijn onderverspreiders in Haarlem stonden niet op zichzelf. Er volgden nog tientallen arrestaties van anonieme VN-verspreiders en medewerkers, waar de Centrale Leiding amper weet van had. In 1944 vond het tweede grote Vrij Nederland-proces plaats. Onder de berechten bevonden zich VN-drukker G.B.H. Hinterding en VN-medewerkers H. Hos en T.J. Jansen.

Hos en Jansen werden op 11 mei 1944 te Scheveningen gefusilleerd. Hinterding overleed in april 1945 in Duitsland tijdens een gevangenentransport. In het zicht van de bevrijding [januari 1945] viel Arie van Namen, een van de belangrijkste centrale figuren van VN, in Duitse handen. Tijdens een vergadering van de Stichting 1940-1944, die Van Namen, alias Dolf de Bruin bijwoonde, werden de deelnemers door de Duitsers overvallen en meegenomen. *  Op 6 mei 1945 kwam Van Namen vrij. Nadat Van Namen was opgepakt volgde nog een incident wat binnen de VN-organisatie veel commotie te weegbracht. Op 29 januari 1945 werd S.J.P. Bakker gearresteerd. Bakker, waarvan de SD opmerkte dat zijn familie blijkbaar een Privat-krieg tegen Duitsland voerde, deed erg veel voor de illegaliteit. *  Bakker drukte niet alleen VN, maar ook Trouw en andere bladen en pamfletten. Zijn uitgebreide illegale activiteiten vormden een bedreiging. Een maand vóór de arrestatie van Bakker had Van Randwijk zijn ongerustheid geuit over de opeenstapeling van drukopdrachten die Bakker uitvoerde:

We moeten er rekening mee houden dat Lijn [Drukkerij Bakker op de Lijnbaansgracht te Amsterdam] kan uitvallen en dan moeten we gedekt zijn. * 

Pas na de oorlog zou blijken wat vijf jaar van Duitse bezetting had aangericht. Begin 1946 kon de voorlopige balans worden opgemaakt: tijdens de oorlog hadden 151 VN-medewerkers gevangen gezeten; van de 151 waren 86 VN-medewerkers of gefusilleerd of overleden in concentratiekampen. Het totaal aantal VN-medewerkers kon worden vastgesteld op ruim 1500. *  Van iedere medewerker, die in VN-verband was gefusilleerd of overleden ten gevolge van gevangenschap, werd na de oorlog een zo compleet mogelijk dossier aangelegd. *