Harbig wuchs in Dresden auf und absolvierte nach der Volksschule seit 1927 eine Lehre als Stellmacher. In der Zeit der Weltwirtschaftskrise verdiente er sein Geld auf Wanderschaft („Tippelbruder“), bevor er sich Ende 1932 für drei Jahre bei der Reichswehr verpflichtete. Im Februar 1936 erhielt Harbig eine Festanstellung als Gasableser beim Dresdner Energieversorger Drewag.

In seiner Schulzeit war Harbig als Leichtathlet und Feldhandballer beim Turn- und Sportverein „Frisch Auf“ Trachau und bei der Sportvereinigung Brandenburg aktiv, bevor er 1930 zum Dresdner Verein Olympia wechselte. Seine Laufbahn als Leistungssportler begann am 24. Juni 1934 in Dresden: Beim „Tag des unbekannten Sportsmanns“, den die NS-Sportführung als reichsweite Talentschau für die Olympischen Spiele 1936 in Berlin organisierte, errang er mit einer Zeit von 2:04 Minuten den ersten Platz im 800-Meter-Lauf. Bei der Veranstaltung entdeckte ihn der Trainer Woldemar Gerschler (1904–1982), einer der Erfinder des Intervalltrainings, der ihn in seine Olympia-Trainingsgruppe aufnahm und seinen Wechsel zum Dresdner SC lancierte.

Seinen ersten Titel bei Deutschen Leichtathletikmeisterschaften gewann Harbig am 12. Juni 1936 in Kassel über 800 Meter mit einer Zeit von 1:54,1 Minuten und qualifizierte sich damit für die Olympischen Spiele in Berlin 1936, bei denen er infolge eines Darminfekts in den Vorläufen über 400 und 800 Meter ausschied. Als Schlussläufer des 4x400 Meter-Staffellaufs gewann er am 9. August 1936 die Bronzemedaille. Bei den Deutschen Meisterschaften 1937 lief er über 800 Meter erstmals deutschen Rekord (1:50,9 Minuten). Bei den Europameisterschaften 1938 in Paris siegte er über 800 Meter in der deutschen Rekordzeit von 1:50,66 Minuten und in der 4x400 Meter-Staffel.

Seinen Ruf als „Jahrhundertläufer“ erwarb sich Harbig am 15. Juli 1939 mit dem Weltrekord beim Länderkampf gegen Italien in Mailand. Im Duell mit dem Italiener Mario Lanzi (1914–1980) unterbot er die offizielle Bestmarke des US-Amerikaners Elroy Robinson (1:49,6 Minuten) – der Lauf des Briten Sidney Wooderson (1914–2006) in 1:48,4 Minuten aus dem Jahr 1938 war noch nicht anerkannt worden – mit 1:46,6 Minuten um drei Sekunden. Diese Bestzeit hielt 16 Jahre und wird von Sporthistorikern als ähnlich bedeutend eingestuft wie der 8,90 Meter-Weitsprung Bob Beamons (geb. 1946) 1968. Am 12. August 1939 brach Harbig in Frankfurt am Main, erneut im Duell mit Lanzi, auch den Weltrekord über 400 Meter (46,0 Sekunden). Es folgten drei weitere Weltrekorde über 1000 Meter (2:21,5 Minuten) und 4x800 Meter (jeweils 1941), die allerdings nicht zu den „klassischen“ olympischen Distanzen zählen. Da die Olympischen Spielen 1940 in Tokio ausfielen, blieben Harbig weitere olympische Meriten verwehrt.

Harbig wurde 1939 zum Kriegsdienst einzogen, zum Wachdienst in Gnesen (heute Gniezno, Polen) abkommandiert und 1940/41 zu den Fallschirmjägern der Luftwaffe versetzt. Die Umstände seines Tods an der Ostfront im März 1944 sind ungeklärt. 1949 bzw. 1988 feierten Ludwig Koppenwallner (1921–2010) bzw. Ulrich Popplow (geb. 1926) Harbig als Prototypen des fairen und unpolitischen Sportlers. Auch seine Ehefrau Gerda Harbig (1919–1962) trug mit ihrer Publikation „Unvergessener Harbig“ (1955) zur Mythenbildung bei. Harbig zählte zu den wenigen deutschen Sportlern, die in Ost und West als Vorbild inszeniert wurden. In der Bundesrepublik vergibt der Deutsche Leichtathletik-Verband seit 1950 jährlich den von Karl Ritter von Halt (1891–1964) gestifteten Rudolf-Harbig-Gedächtnispreis; in der DDR endete die Harbig-Verehrung, als seine Ehefrau 1962 starb und seine Tochter 1966 in die Bundesrepublik floh.

Beim Kult um Harbig blieb lange Zeit ausgeklammert, dass er seit 1937 der NSDAP angehörte und 1939 in einer Buchpublikation seines Trainers Gerschler als Antisemit und Rassist beschrieben wurde. Bei Sportfesten trat Harbig, der sich für die NS-Propaganda instrumentalisieren ließ, in SA-Uniform auf. Die nach 1945 unternommenen Dopingversuche seines Sportarztes Herbert Reindell (1908–1990) mit dem hochwirksamen Amphetaminpräparat Pervitin, das 1938 auf den Markt gekommen und 1939 ohne Rezept erhältlich war, wurden in jüngerer Zeit in Zusammenhang mit Harbigs Weltrekorden gebracht. Aus diesen Gründen riefen Harbigs Aufnahme als Gründungsmitglied der Hall of Fame des deutschen Sports 2008 und das dafür angefertigte unkritische Porträt Ulrich Kaisers (1934–2015) Kritik hervor. Ungeachtet dessen wurde Harbig zum Namensgeber für Stadien, zahlreiche Sporthallen und Straßen.

Sportliche Erfolge