Nach dem Besuch der Volksschule und einer kaufmännischen Lehre kam Koch im März 1916 als Frontsoldat an die Westfront. An Fuß und Schulter verletzt, geriet er 1918 in britische Kriegsgefangenschaft, aus der er 1919 entlassen wurde. Danach wechselte er seine Arbeitsstellen häufig, längere Zeit war er erwerbslos. 1931 trat Koch in die NSDAP ein und meldete sich zur SS. 1933 wurde er beauftragt, in Kassel eine Hilfspolizei aufzubauen, die später in die KZ-Wachverbände eingegliedert wurde.

Von 1934 bis 1936 war Koch in den Konzentrationslagern Hohnstein, Sachsenburg (Kommandant), Esterwegen, Lichtenburg (Kommandant), Columbia-Berlin (Kommandant) und zuletzt erneut Esterwegen eingesetzt. Am 1. September 1936 begann er seinen Dienst als Kommandant des neu gegründeten KZ Sachsenhausen, wo er seiner zweiten Frau Ilse Köhler (1906–1967) begegnete. Zum 1. August 1937 wurde Koch als Kommandant an das im Aufbau befindliche Konzentrationslager Buchenwald versetzt, das er bis zum 19. Dezember 1941 leitete.

Aufgrund des Verdachts, er habe die Geschäftsbücher des Konzentrationslagers Buchenwald zur persönlichen Bereicherung manipuliert, leitete der SS-Richter Josias zu Waldeck-Pyrmont (1896–1967) 1941 eine Ermittlung gegen Koch ein. Nach kurzzeitiger Festnahme Ende 1941 vom Dienst suspendiert, wurde Koch im Januar 1942 in die Kommandantur des Kriegsgefangenenlagers der Waffen-SS in Lublin (später Konzentrationslager Lublin-Majdanek) versetzt. Nach einem Ausbruch sowjetischer Kriegsgefangener seines Amts enthoben, arbeitete er seit September 1942 beim Ergänzungsamt der Waffen-SS und war 1943 u. a. Kommandeur eines Postschutz-Regiments in Eger.

Ein 1943 eingeleitetes Verfahren legte Koch Unterschlagung und Veruntreuung von Geldern und Sachwerten, das Führen schwarzer Kassen sowie die Tötung von Häftlingen zur Last. Der SS-Richter Konrad Morgen (1909–1982) ließ als Ermittlungsbeamter in Buchenwald im Auftrag der Reichskriminalpolizei die Wohnungen Kochs und enger Gefolgsleute durchsuchen, wobei u. a. große Mengen an Gold, Schmuck und kostbare Teppiche gefunden wurden. Kochs Privatkonten wiesen zudem über 100 000 Reichsmark auf, was mit seinem regulären Einkommen nicht zu erklären war.

Am 24. August 1943 wurde Koch in seiner Buchenwalder Villa festgenommen und am 19. Dezember 1944 von einem SS- und Polizeigericht in Weimar für schuldig befunden, drei Morde an Häftlingen begangen und während des Kriegs Staatsgelder veruntreut zu haben. Sein Todesurteil wurde am 5. April 1945 im Konzentrationslager Buchenwald vollstreckt, seine Leiche im dortigen Krematorium verbrannt. Koch war der einzige KZ-Kommandant, der im „Dritten Reich“ von der SS verurteilt und hingerichtet wurde.

In der Rezeption des Nationalsozialismus nach 1945 stand Koch seit jeher im Schatten seiner zweiten Frau Ilse. Als „Kommandeuse“ und „Hexe“ von Buchenwald erfuhr sie viel mediale und wissenschaftliche Aufmerksamkeit und wurde zu einem Inbegriff nationalsozialistischer Verbrechen, obgleich Koch für die Entwicklung des Konzentrationslagers Buchenwald hauptverantwortlich war. Von besonderer historischer Bedeutung ist ein wahrscheinlich 1937 entstandenes, 2001 in Moskau wiederentdecktes, dienstliches Fotoalbum Kochs, das in knapp 500 Aufnahmen die Frühzeit des nationalsozialistischen KZ-Systems dokumentiert.