Aus dem gehobenen Bremer Bürgertum stammend, erhielt Barkhausen nach dem Besuch des Gymnasiums 1901 das Abitur und studierte nach seinem einjährigen Militärdienst und einem Praktikum seit 1902 Physik an der TH München und an der Universität Berlin. 1903 wechselte er an die Universität Göttingen, wo er bei Hermann Theodor Simon (1870–1918), dem Leiter des Instituts für Angewandte Elektrizität, jene Mischung aus Mathematik und Physik erlernte, mit der er die aktuellen elektrotechnischen Fragestellungen bearbeiten konnte, u. a. die physikalischen Möglichkeiten zur drahtlosen Telefonie. 1906 wurde Barkhausen mit der Dissertation „Das Problem der Schwingungserzeugung mit besonderer Berücksichtigung schneller elektrischer Schwingungen“ bei Simon zum Dr. phil. promoviert. Von 1907 bis 1911 arbeitete er bei der Firma Siemens & Halske AG in Berlin an Fernsprechanlagen und Kommandoapparaten. 1910 habilitierte sich Barkhausen an der TH Charlottenburg mit einer Arbeit „Die elektrische Übertragung von Signalen“ für Theoretische Elektrotechnik. Am 1. April 1911 wurde er auf die neu errichtete dritte etatmäßige außerordentliche Professur für Elektrotechnik an die TH Dresden berufen und Direktor des weltweit ersten Instituts für Schwachstromtechnik. Hier lehrte er elektrische Messkunde, wissenschaftliche Grundlagen der drahtgebundenen und drahtlosen Telegrafie und Telefonie, Theorie der Leitungen, elektrische und mechanische Schwingungsvorgänge und elektrische Schaltvorgänge.

Nach Beginn des Ersten Weltkriegs ließ sich Barkhausen beurlauben und befasste sich – jedoch erfolglos – als wissenschaftlicher Hilfsarbeiter bei der Inspektion des Torpedo- und Minenwesens in Kiel mit den Möglichkeiten der Nutzung des Unterwasserschalls als U-Boot-Nachrichtenmittel. Anfang 1917 begann er auf eigenen Wunsch mit systematischen Studien über die Physik der kurz vor Kriegsbeginn entwickelten Elektronenröhre und deren Anwendungen und verfasste bereits im Sommer 1917 eine entsprechende Dienstschrift, die der Geheimhaltung unterlag. Barkhausen arbeitete eng mit dem ebenfalls zu den Pionieren der Röhrentechnik zählenden Hans-Georg Moeller (1882–1967) zusammen.

Am 1. April 1918 wurde Barkhausen als ordentlicher Professor für Schwachstromtechnik an die TH Dresden berufen. Zwischen 1919 und 1921 erschienen Auszüge seiner Dienstschrift als dreiteilige Publikation „Die Vakuumröhre und ihre technischen Anwendungen“ im „Jahrbuch der drahtlosen Telegraphie und Telephonie“. Die Barkhausen vielfach zugeschriebene Entdeckung der darin erwähnten und daher nach ihm benannten Röhrengleichung S D R=1 wurde schon 1913 von Hendrik Johannes van der Bijl (1887–1948) angegeben.

1919 berichtete Barkhausen in der „Physikalischen Zeitschrift“ über zwei Beobachtungen, die auf Arbeiten in Kiel zurückgingen und bei denen er verbesserte Vakuumröhren-Verstärker nutzte. Die Geräusche beim Ummagnetisieren von Eisen, heute als Barkhausen-Sprünge bekannt, fanden ebenso internationale Beachtung wie die von Barkhausen beobachteten Pfeiftöne, die später als atmosphärische Whistlers bezeichnet wurden. Beachtliche technische Bedeutung hatte die Entdeckung von hochfrequenten Schwingungen in Elektronenröhren, Barkhausen-Kurz-Schwingungen genannt, die auf Untersuchungen im Laboratorium der Torpedoinspektion mit Karl Kurz (1881–1960) zurückgingen und 1920 veröffentlicht wurden. Diese Arbeit bildete den Ausgangspunkt für ein Vordringen von Röhrenschaltungen in höhere Frequenzbereiche. Weltweite Beachtung fand auch sein „Lehrbuch der Elektronenröhren“ (4 Bde., 1923–1937), das über Jahrzehnte als Standardwerk mehrfach übersetzt und aufgelegt wurde.

Die Akustik war Barkhausens weiteres wichtiges Arbeitsgebiet, das ebenfalls auf seine Forschungen im Ersten Weltkrieg zurückging. 1926 konstruierte er ein Schallmessgerät, das Siemens & Halske herstellte, schlug die ersten subjektiven Lautstärkemessungen und eine logarithmische Skala für die Lautstärke (Barkhausen-Phon) vor. Das bekannte Barkhausen-Kriterium für die Selbsterregung von Feedback-Systemen geht auf seine Dissertation zurück und findet sich auch in Barkhausens Dienstschrift. Es wurde erst nach 1951 international bekannt, da es im Gegensatz zum allgemeineren Nyquist-Strecker-Kriterium v. a. beim Entwurf elektronischer Schaltungen vorteilhaft ist.

Im November 1933 unterzeichnete Barkhausen das „Bekenntnis der Professoren an den deutschen Universitäten und Hochschulen zu Adolf Hitler“, gehörte jedoch weder der NSDAP noch anderen NS-Organisationen an. Er kritisierte mehrfach politische Entscheidungen, in denen er eine wissenschaftliche Bevormundung erblickte. Aufgrund seiner wissenschaftlichen Reputation erhielt er 1929 eine Einladung in die USA (1929) und im Herbst 1938 von seinen ehemaligen Studenten Yōji Itō (1901–1955) und Yagi Hidetsugu (1886–1976) nach Japan, wobei er eine politische Mission nachweislich ablehnte. Das gilt auch für eine Vortragsreise nach Rumänien 1942. Aufgrund der mangelhaften personellen und materiellen Ausstattung seines Instituts musste Barkhausen seine Forschungsarbeiten während der Zeit des Zweiten Weltkriegs reduzieren und zog nach der Zerstörung des Instituts bei Bombenangriffen im Februar 1945 mit seiner Familie nach Wohlenbüttel bei Lüneburg. 1946 nach Dresden zurückgekehrt, leitete er den Wiederaufbau seines Instituts, das 1951 ein neues Gebäude bekam und sogleich nach ihm benannt wurde. Barkhausen, der wesentliche Grundlagen der Nachrichtentechnik (heute Informationstechnik) schuf, wurde 1953 emeritiert und war auch aufgrund seiner internationalen Schülerschaft bedeutsam. Seinem Institut entstammen renommierte Elektrotechniker wie Itō, der Ungar Ferenc (Franz) Preisach (1905–1943) und Horst Rothe (1899–1974).