Op 20 oktober 1943 richtten zestien geallieerde landen, waaronder ook Nederland, te Londen de United Nations War Crimes Commission (UNWCC) om voor de berechting van oorlogsmisdadigers in Europa en Azië bewijsmateriaal te verzamelen en procedures te bespreken. Voor Azië richtten tien landen te Chungking als subcommissie de Far Eastern and Pacific Commission (FEPC) op, die zich vooral concentreerde op China. Na de verklaring van Potsdam in juli 1945, waarin de berechting van Japanse oorlogsmisdadigers was opgenomen, adviseerde de FEPC op 29 augustus om een internationaal militair tribunaal in te stellen, onder leiding van de strijdkrachten van de Supreme Commander of the United Nations, waarbij de tien landen elk een rechter zouden leveren. Na de capitulatie van Japan kreeg in oktober onder invloed van de Amerikaanse bezetting generaal MacArthur als Supreme Commander of the Allied Powers (SCAP) deze opdracht. In september had hij al 39 vooraanstaande Japanners laten arresteren. De Legal Section van het SCAP, die zich al bezighield met de minder zware misdrijven in de afzonderlijke landen, spoorde verdachten op en verzamelde bewijsmateriaal voor de grote vervolgingszaken. December 1945 werd onder de paraplu van het SCAP de International Prosecution Section (IPS) geïnstalleerd voor de opsporing en vervolging van oorlogsmisdadigers. Tot voorzitter hiervan en hoofdaanklager (Chief of Counsel and of Section) was door president Truman J.B. Keenan benoemd.

Het IPS ontwierp een Charter naar het model van het Tribunaal van Neurenberg, waarin ook misdaden jegens geallieerde burgers en krijgsgevangenen werden opgenomen. Eind december 1946 werd de Far Eastern Committee opgericht (FEC) om MacArthur van advies te dienen, bestaande uit alle landen die de capitulatie hadden ondertekend, plus India en de Filipijnen. In januari 1946 kondigde MacArthur het Charter af en verzocht deze tien landen hun vertegenwoordigers naar IPS te sturen: een hoofdaanklager met assistent-aanklagers en een bureaustaf (chief prosecutor and a support staff comprised of assistant prosecutors, investigators, and miscellaneous other personnel). De hoofdaanklagers waren:
A.J. Mansfield en T. Mornane (Australië)
H.G. Nolan (Canada)
Che-chun Hsiang (China)
R. Oneto (Frankrijk)
A.S. Comyns Carr (Groot-Brittannië)
G. Menon (India)
W.G.F. Borgerhoff Mulder (Nederland)
R.H. Quilliam (Nieuw-Zeeland)
P. Lopez (Filipijnen)
S.A. Golunsky en A.N. Vasilyev (Sovjetunie)
Deze raad van procureurs vormden samen met leden van de VS-legerstaf het Executive Committee, dat de beklaagden selecteerde, de aanklacht voorbereidde en alle principebesluiten inzake het proces formuleerde. Alle besluiten van dit comité werden uitgevoerd door het Committee on Evidence.

Omdat de behandeling van één zaak vaak meer landen betrof, was een Chief of Trial belast met het toezicht op de voorbereiding en presentatie. Aan diens bureau was een Research en Analysis Section verbonden, die al het geproduceerde materiaal in bruikbare vorm moest gieten, supervisie had op al het onderzoeksmateriaal in meer onderdelen van een zaak en de algemene bewijsvoering en eindpleidooien moest voorbereiden.

In februari 1946 benoemde de Supreme Commander als leden van het Tribunaal de elf rechters:W.F. Webb (Australie - Chief Justice Supreme Court of Queensland), president van het tribunaal
S.E. McDougall (Canada-Former pusine judge, King's Bench Appeal Side)
Mei Yu Ao (China-Attorney and member of the legislative Yuan)
H.E. Bernard (Frankrijk-Chief Prosecutor First Military Tribunal in Paris)
Patrick (Groot-Brittannië- Judge on Scotland's College of Justice)
R.M. Pal (India-Lecturer at Calcutta University Law College)
B.V.A. Röling (Nederland-Professor of Law at Utrecht)
E.H. Northcroft (Nieuw-Zeeland-Served as New Zealand's Judge Advocate General)
D. Jaranilla (Filippijnen-Attorney General & Supreme Court member)
I.M. Zaryanov (Sovjetunie-Member of the Military Collegium of Suprene Court)
J.P. Higgins (Verenigde Staten-Chief Justice Massachusetts State Superior Court), na juni 1946 M.H. Cramer
Besluiten over procedures en belangrijke kwesties tijdens de zittingen werden door de meerderheid van de leden van het Tribunaal genomen. MacArthur had volmacht in beroepszaken. (with MacArthur retaining plenary power over appeals. Over routinezaken besliste het bureau van de president.
Het Secretariat, geleid door de General Secretary, ressorteerde onder de leden van het Tribunaal. Het regelde alle tribunaalzaken, behalve die rechtstreeks onder de leden vielen. Onder het secretariaat vielen ook de Clerk of the Court, de Marshal en de stenografen, de reproductie-, foto- en vertaalafdelingen en tenslotte de Language Arbitration Board. Deze commissie, bestaande uit drie leden en gekozen door respectievelijk het tribunaal, de aanklager en de verdediging, besliste over alle meningsverschillen inzake vertalingen van documenten en afgelegde verklaringen.
Bij het secretariaat was een persofficier van het SCAP gestationeerd voor contacten met tribunaal, aanklager en verdediging.