Op 10 mei 1940 viel Duitsland Nederland binnen. De toekomstige bezetter verwachtte het militair zwakke Nederland zonder veel problemen onder controle te krijgen. Uiteindelijk duurde het toch nog vier dagen voordat de capitulatie een feit was. De weerstand die geboden werd in de zogeheten Grebbelinie wordt nog altijd vaak gezien als een van de doorslaggevende redenen waarom de Duitsers toch meer moeite hadden met het kleine Nederland, dan ze aanvankelijk hadden verwacht.
Na het staken van de gevechten op 14 mei ontstond er een acuut probleem. Zo'n 400 Nederlanders en waarschijnlijk ongeveer evenveel Duitse soldaten waren op en in de omgeving van de Grebbeberg gesneuveld. De lichamen van deze soldaten moesten snel geïdentificeerd en begraven worden. De identificatie geschiedde tussen 16 en 20 mei. Op 28 mei was de eerste voorlopige lijst met namen gereed. Op 16 mei vond de eerste rouwdienst en op 21 mei 1940 de eerste herdenkingsplechtigheid plaats. Deze werden door de Duitsers en Nederlanders gezamenlijk gehouden. Een drietal regimenten, het 8ste, 10e en 22ste Regiment Infanterie, die een belangrijke rol hadden gespeeld gedurende de gevechten en derhalve veel verloren kameraden te betreuren hadden, plaatsten al enkele dagen na de capitulatie gedenkzuilen op de begraafplaats. Het voorlopige algemene Nederlandse gedenkteken werd gevormd door een simpel geel houten kruis. Vlak na het einde van de oorlog werden alle Duitse graven verplaatst naar het Limburgse IJsselsteijn, waarmee de Grebbeberg een exclusief Nederlandse begraafplaats werd.

In 1941 concludeerden de verantwoordelijken voor het ereveld, waaronder de beheerder van het kerkhof, reservemajoor en militair commissaris van het Nederlandse Rode Kruis, P. Weijs, dat de begraafplaats een meer uniforme uitstraling moest krijgen. Ieder graf kreeg nu eenzelfde liggende steen. In 1967 zouden deze zerken vervangen worden door staande, voor militaire begraafplaatsen gebruikelijke Portlandstenen. In 1941 werd het kerkhof onder de zorg gesteld van het Departement van Defensie, inmiddels door de bezetters gereduceerd tot Afwikkelingsbureau.
In 1946 werd de Stichting Nationaal Legermonument Grebbeberg opgericht, met als doel een monument op te richten, dat in de eerste plaats gewijd zou zijn aan de gesneuvelden van de Meidagen van 1940. Op het kerkhof zelf werd echter geen geschikte locatie gevonden. Op 18 november 1947 werd een stuk grond gekocht, gelegen tegenover de ingang tot het ereveld. De oorspronkelijke eigenaar, L.C. Leccius de Ridder, droeg de grond voor het symbolische bedrag van één gulden over aan het Ministerie van Oorlog. Op 27 december 1951 werd de zorg voor het kerkhof overgedragen aan de Oorlogsgravenstichting, die al sinds 1948 verantwoordelijk was geweest voor het "onderhoud en de verfraaiing van de Nederlandse militaire en civiele rijksgraven". Begin januari 1959 werd deze overeenkomst nog eens uitgebreid. In 1953 was immers het monument onthuld, ontworpen door architect J.J.P. Oud en uitgevoerd door vader en zoon Raedecker. Ook hiervoor moest zorg worden gedragen. De Oorlogsgravenstichting werd echter nooit eigenaar van het ereveld. Sinds 1946 wordt op het ereveld ieder jaar op 4 mei de oorlogsherdenkingsplechtigheid van de Koninklijke Landmacht gehouden. Het 8ste Regiment Infanterie organiseert haar eigen jaarlijkse bijeenkomst op Tweede Pinksterdag.