Nach dem Abitur am humanistischen Friedrich-Wilhelm-Gymnasium in Trier meldete sich Barbie im April 1934 freiwillig zu einem halbjährigen Einsatz beim Reichsarbeitsdienst. Seit Ende 1934 ehrenamtlich in der Trierer NSDAP-Zentrale und Hitlerjugend tätig, wurde er im Februar 1935 persönlicher Adjutant des NSDAP-Ortsgruppenleiters für Trier Mitte, Karl Horrmann, auf dessen Vermittlung er im September 1935 im Hauptamt des Sicherheitsdienstes (SD) des Reichsführers-SS in Berlin angestellt wurde. Nach Lehrgängen an der Führerschule des SD in Bernau sowie der Führerschule der Sicherheitspolizei (SiPo) und des SD in Berlin-Charlottenburg übernahm Barbie im Oktober 1936 die Referate II/122 und II/123 des SD-Oberabschnitts West in Düsseldorf und wurde im September 1939 Hilfsreferent im Referat III C des SD-Abschnitts Dortmund. Hier konzentrierte sich seine Tätigkeit auf die Infiltration kommunistischer und sozialdemokratischer Verbände (Bereich III/C). Am 1. Mai 1937 wurde er Mitglied der NSDAP.

Im April 1940 zum SS-Untersturmführer befördert, war Barbie von Mai 1940 bis März 1942 in den besetzten Niederlanden in der Zentralstelle für jüdische Auswanderung in Amsterdam eingesetzt und hier dem Befehlshaber der SiPo und des SD Niederlande Wilhelm Harster (1904–1991) unterstellt. In dieser Funktion war Barbie an der Verfolgung und Deportation niederländischer Juden beteiligt.

Nach dem deutschen Einmarsch in Südfrankreich wurde Barbie im November 1942 nach Lyon versetzt und von SS-Obersturmführer Rolf Mühler (1910–1967) zum dortigen Chef der Gestapo ernannt. In dieser Funktion für die Bekämpfung französischer Widerstandsgruppen verantwortlich, trug ihm seine extreme Brutalität den Beinamen „Schlächter von Lyon“ ein. Zu seinen Opfern gehörten u. a. Jean Moulin (1899–1943), Galionsfigur der französischen Résistance, sowie 44 im April 1944 auf seinen Befehl aus dem Waisenhaus in Izieu verschleppte und nach Auschwitz deportierte jüdische Kinder.

Nach dem Zweiten Weltkrieg wurde Barbie in Frankreich mehrfach in Abwesenheit der Prozess gemacht und u. a. die Razzia in der Rue Sainte-Catherine (Februar 1943), das Massaker in Saint-Genis-Laval (August 1944) und zahlreiche Erschießungen im Gefängnis Fort Montluc zur Last gelegt. 1947 wurde Barbie vom Ständigen Militärgericht in Lyon zum Tode verurteilt; ebendort ergingen 1951 und 1954 weitere Todesurteile.

Barbie entzog sich der Strafverfolgung, indem er Ende 1945 in Nordhessen untertauchte, wo er unter mehreren Tarnnamen (Becker, Mertens, Spier) Kontakte zu ehemaligen NS- und SS-Funktionären unterhielt. Im April 1947 warb ihn der Counter Intelligence Corps (CIC) der US-Army als Agent an, für den er nach subversiven kommunistischen Tendenzen in der US-amerikanischen und französischen Besatzungszone spionierte. Als die französische Regierung in Person des französischen Botschafters in Washington, DC, Henri Bonnet (1888–1978), mit Nachdruck Barbies Auslieferung verlangten, ermöglichten die Verantwortlichen des CIC und der Alliierten Hohen Kommission ihm die Flucht nach Lateinamerika. Ende März 1951 floh Barbie über Genua und Buenos Aires (Argentinien) nach La Paz (Bolivien) und fand als Klaus Altmann zunächst Arbeit in einem Sägewerk in den Yungas. 1954 nach La Paz zurückgekehrt, erhielt Barbie im Oktober 1957 die bolivianische Staatsbürgerschaft und arbeitete von 1964 bis 1969 unter René Barrientos Ortuño (1919–1969) als Militärberater im Bereich der Aufstandsbekämpfung (Counterinsurgency). Zudem fungierte er ab 1966 für die von Gerhard Mertins (1919–1993) geleitete Firma Merex AG als Waffenhändler.

Im Mai 1966 warb der BND Barbie unter dem Decknamen „Adler“ als nachrichtendienstliche Verbindung an, schaltete ihn jedoch bereits im Dezember desselben Jahres wieder ab, als ein bei der Zentralen Stelle der Landesjustizverwaltungen in Ludwigsburg laufendes Ermittlungsverfahren gegen den Agenten bekannt wurde. Barbie versorgte den BND mit Informationen über die kommunistische Infiltration bolivianischer Verbände und Parteien sowie über militärische Bedarfsfälle der bolivianischen Regierung.

Aufgrund der Recherchen von Serge Klarsfeld (geb. 1935) und Beate Klarsfeld (geb. 1939) wurde Barbie 1970 identifiziert, doch verweigerte die bolivianische Militärdiktatur unter Hugo Banzer Suárez (1926–2002) seine Auslieferung. 1980 erhielt er mit der Ernennung zum Oberstleutnant des bolivianischen Heeres „ehrenhalber“ den höchsten militärischen Rang, den der Staat Bolivien für Eingebürgerte vorsah. Erst die demokratisch gewählte Regierung unter Präsident Hernán Siles Zuazo (1914–1996) ließ Barbie im Januar 1983 in La Paz verhaften und lieferte ihn im Februar 1983 an Frankreich aus.

In seinem am 11. Mai 1987 vor dem Schwurgericht des Départements Rhône in Lyon begonnenen Prozess wurde Barbie am 4. Juli 1987 in mehreren Anklagepunkten der „Verbrechen gegen die Menschlichkeit“, die von einer Verjährung ausgeschlossen waren, für schuldig befunden und zu lebenslanger Haft verurteilt. Seine Verteidigung durch den französischen Rechtsanwalt Jacques Vergès (1925–2013) wurde u. a. von dem Schweizer Bankier und Holocaust-Leugner François Genoud (1915–1996) finanziert. Der Prozess löste in Frankreich eine heftige Kontroverse über das Thema der Kollaboration mit dem NS-Regime aus und gilt als Meilenstein der strafrechtlichen Ahndung von in Frankreich begangenen NS-Verbrechen.