Der aus einer assimilierten jüdischen Familie stammende Frank besuchte seit 1898 das Maximilians-Gymnasium in Wien (heute Gymnasium Wasagasse). Nach der Matura 1902 studierte er Physik, Mathematik und Philosophie an der Universität Wien, u. a. bei den Physikern Ludwig Boltzmann (1844–1906), Friedrich Hasenöhrl (1874–1915), dem Philosophen Adolf Stöhr (1855–1921), dem Literaturwissenschaftler Emil Reich (1864–1940) sowie den Mathematikern Gustav Kohn (1859–1921), Wilhelm Wirtinger (1865–1945) und Hans Hahn (1879–1934). 1906 wurde er mit einer physikalischen Dissertation zum Dr. phil. promoviert. Im selben Jahr verbrachte er ein Semester bei David Hilbert (1862–1943) an der Universität Göttingen.

Nach seiner Habilitation für Theoretische Physik 1909 war Frank bis 1912 Privatdozent in Wien. In dieser Zeit lernte er Albert Einsteins (1879–1955) Arbeiten kennen, wozu er verschiedene Kurse hielt, u. a. in der Urania und im Volksheim Ottakring. Allein und mit Hermann Rothe (1882–1932) führte Frank Schlüsselkonzepte und Vereinfachungen zur Speziellen Relativitätstheorie ein. Zugleich nahm er mit Freunden und Kollegen, v. a. mit Hahn und Otto Neurath (1882–1945), an Diskussionsabenden teil und versuchte, die philosophischen Implikationen und Zusammenhänge der Relativitätstheorie und nichteuklidischen Geometrie zu ergründen und zu umgehen, indem er sich auf den französischen Konventionalismus Henri Poincarés (1854–1912) und Pierre Duhems (1861–1916) sowie die historische Wissenschaftsphilosophie Ernst Machs (1838–1916) stützte. Diese informellen Treffen, die zwischen 1907 und 1912 stattfanden, werden auch als Erster Wiener Kreis bezeichnet.

1912 wurde Frank in der Nachfolge Einsteins als außerordentlicher Professor für Theoretische Physik an die Deutsche Universität Prag berufen, wo er bis 1938 auch Direktor des Instituts für Theoretische Physik war. Frank veröffentlichte mit dem Mathematiker Richard von Mises (1883–1953) das einflussreiche Lehrbuch „Differential- und Integralgleichungen der Mechanik und Physik“ (1927) und physikalische Abhandlungen zur Relativitätstheorie und Quantenmechanik, womit er sich als maßgeblicher Interpret von Einsteins Relativitätstheorie und als Wissenschaftsphilosoph etablierte. Als engagierter öffentlicher Redner an deutschen und tschechischen Institutionen und Gesellschaften (z. B. Urania) war er auch Brückenbauer in Zeiten zunehmender sozialer und ethnischer Konflikte.

Frank nahm seit 1924 regelmäßig an Zusammenkünften des Wiener Kreises um den Philosophen Moritz Schlick (1882–1936) teil. Frank und Schlick gaben mit den „Schriften zur wissenschaftlichen Weltauffassung“ eines der wichtigsten Organe der Bewegung heraus, in dem Werke wie Rudolf Carnaps (1891–1970) „Logische Syntax der Sprache“ und Karl Poppers (1902–1994) „Logik der Forschung“ erschienen. Als Organisator und Redner trug Frank dazu bei, den logischen Positivismus und später die Unity of Science-Bewegung international sichtbar zu machen. Diese zunächst von Neurath, später von Frank organisierte Bewegung propagierte die Vereinigung der verschiedenen Wissenschaften durch die Förderung und Akzeptanz einer universellen Sprache. Mit der Förderung von Einheit und Internationalismus wandte sich die Bewegung gegen Totalitarismus und Nationalismus.

Nachdem die meisten Mitglieder des Wiener Kreises verstorben oder emigriert waren, ließ sich Frank 1938 unbezahlt von der Universität Prag beurlauben und reiste in die USA, um an rund 15 Universitäten Vorträge zur Philosophie der Physik zu halten. Angesichts der nationalsozialistischen Annexion des Sudetenlands blieb Frank mit seiner Frau in den USA, wo er nach vergeblichen Versuchen, eine Stelle in Chicago (Illinois, USA) zu bekommen, dank der Bemühungen des Astronomen Harlow Shapley (1885–1972), der Physiker Percy W. Bridgman (1882–1961) und Edwin C. Kemble (1889–1984) sowie des Präsidenten der Harvard University, James B. Conant (1893–1978), und dank finanzieller Unterstützung der Rockefeller Foundation und des Emergency Committee in Aid of Displaced Foreign Scholars 1939 einen kleinen Lehrauftrag am Department of Physics der Harvard University in Cambridge (Massachusetts, USA) erhielt. 1941 bekam Frank eine halbe Stelle als Lecturer in Physics and Mathematics. Da er nur jedes zweite Semester Vorlesungen gab, besuchte er in den freien Semestern Universitäten und Colleges und machte seine logisch-positivistische Wissenschaftsphilosophie einem größeren Kreis von Studenten, gebildeten Laien und interessierten Kollegen bekannt.

Vermutlich zwischen 1943 und 1954 war Frank Mitglied von Conants General Education Program an der Harvard University und beteiligte sich an Louis Finkelsteins (1895–1991) Konferenzreihe Conference on Science, Philosophy of Religion (1940–1954). Er publizierte Werke zum kulturellen Kontext und zur Bedeutung der Relativitätstheorie, zu den philosophischen Implikationen der modernen Wissenschaft, den Grundlagen der Physik und 1947 eine Biografie Einsteins. Im selben Jahr gründete er das Institute for the Unity of Science in Cambridge, das er auch nach seiner Pensionierung 1954 leitete. Dort organisierte er Diskussionsgruppen (über Werte, Kybernetik, Sprache, Informationstheorie) und gründete eine Forschungsgruppe für Wissenschaftssoziologie, der Robert K. Merton (1910–2003), Bernard Barber (1918–2006), Ernest Nagel (1901–1985), Jeremy Bernstein (geb. 1929), Lewis Feuer (1912–2002), Ernst Topitsch (1919–2003) und Thomas Kuhn (1922–1996) angehörten. Aufgrund von Franks Nachlässigkeit und organisatorischer Schwierigkeiten löste sich das Institut auf. Frank war ein früher Verfechter der Verbindung von Wissenschaftsgeschichte und -philosophie für ein breites, kulturelles Wissenschaftsverständnis, das auch soziologische Überlegungen einbezog. Seine geisteswissenschaftliche Perspektive zeigte sich auch in seinem Engagement an dem 1960 gegründeten Boston Colloquium (später Center) for the Philosophy of Science, an dessen Aktivitäten er bis 1962 Anteil nahm. Auch wenn Frank keine Schule aufbaute, prägte er u. a. Gerald Holton (geb. 1922) und Jeremy Bernstein (geb. 1929).