Gebhardt besuchte seit 1870 das Friedrichs-Realgymnasium in Berlin. Im Anschluss an das Abitur 1879 studierte er Chemie an der Universität Berlin, wechselte an die Universität Marburg an der Lahn und kehrte nach Berlin zurück, wo er 1885 bei August Wilhelm von Hofmann (1818–1892) mit der Arbeit „Über substituirte Amide der Kohlensäure und Thiokohlensäure. Ein Beitrag zur Kenntniss der secundären Amine“ zum Dr. phil. promoviert wurde und sich in dieser Zeit für den Fechtsport engagierte. Nach dem Tod des Vaters 1885 leitete Gebhardt mit seinem Bruder die väterlichen Betriebe. Daneben besuchte er medizinische Vorlesungen an der Universität und betrieb Studien in Hygiene und Physiologischer Chemie. 1890 gab er den Beruf auf, ließ sich sein Erbe auszahlen und übersiedelte nach New York City und Buffalo (New York, USA). Hier entwickelte er, angeregt von der US-amerikanischen Sport- und Hygienebewegung, ein „Lichtheilverfahren“, für das er Apparaturen erfand, die er nach seiner Rückkehr nach Berlin 1895 patentieren ließ und erfolglos unternehmerisch zu vermarkten suchte, was zu einer prekären finanziellen Situation Gebhardts im Alter führte.

Gebhardt begeisterte sich für die von Baron Pierre de Coubertin (1863–1937) angeregte olympische Bewegung. Gegen den Widerstand der nationalen Vertreter der Deutschen Turnerschaft und im Zentralausschuss zur Förderung der Volks- und Jugendspiele gründete er 1895 ein Komitee für die Beteiligung Deutschlands an den Olympischen Spielen in Athen 1896, verfasste die Denkschrift „Soll Deutschland sich an den Olympischen Spielen beteiligen?“ und organisierte – unterstützt vom Kaiserhaus und der Reichsregierung – die Allgemeine Ausstellung für Sport, Spiel und Turnen im Preußischen Herrenhaus. Gebhardt setzte sich für wissenschaftliche und anthropometrische Untersuchungen von Turnern und Sportlern in einer „wissenschaftlichen Trainieranstalt“ ein, forderte eine wissenschaftliche Erforschung des modernen Sports, den er im Sinne Coubertins als Mittel internationaler Friedenserziehung verstand, und eine Vermittlung olympischer Erziehung an Schulen.

Für die Teilnahme einer deutschen Mannschaft an den Olympischen Spielen in Athen 1896, in Paris 1900 und in Saint Louis (Missouri, USA) 1904 gründete Gebhardt jeweils Olympische Komitees, die er als Chef de Mission leitete. Seit 1896 gehörte er dem Internationalen Olympischen Komitee (IOC) an, in dem er sich mit seinem ungarischen Freund Ferenc Kemény (1860–1944) für die Friedensidee der internationalen Olympischen Spiele einsetzte und erfolglos bemühte, die Olympischen Spiele nach Berlin zu holen. Seine Pläne führten aber zur Errichtung des „Deutschen Stadions“ in Berlin, das 1913 eingeweiht wurde und in dem 1916 Olympische Spiele stattfinden sollten. Im März 1904 initiierte Gebhardt die Einrichtung des Deutschen Reichsausschusses für Olympische Spiele (DRAFOS) und wurde dessen erster Geschäftsführer.

Warum Gebhardt seine Ämter im DRAFOS wenige Monate nach den Athener „Zwischenspielen“ 1906, an denen er als Mitglied der von Egbert Graf Hoyer von der Asseburg (1847–1909) geleiteten deutschen Delegation teilgenommen hatte, niederlegte und 1909 aus dem IOC zurücktrat, ist ungeklärt. Als ein möglicher Grund wird Gebhardts angespanntes Verhältnis zu Coubertin vermutet, der im Gegensatz zu ihm die Spiele von Athen 1906 nicht als reguläre Olympische Spiele im Vierjahresrhythmus anerkannte. Zudem setzten sich in der deutschen Sportbewegung zunehmend adlige Funktionäre durch, wie der 1905 zum Präsidenten des DRAFOS gewählte Hoyer von der Asseburg, die den Sport stärker in die Nähe zum Militär rückten.

Auch ohne Amt nahm Gebhardt, der 1918/19 in den Niederlanden lebte, zur Entwicklung des Sports Stellung, etwa als er gegen die im Zuge des Ersten Weltkriegs entwickelte Idee „Deutscher Kampfspiele“ als Alternative zu den Olympischen Spielen plädierte und als er nach 1918 Coubertin widersprach, der Deutschland von künftigen Olympischen Spielen ausschließen wollte.

Die öffentliche Anerkennung und Würdigung Gebhardts, der 1897 auch Gründungspräsident (bis 1900) des Deutschen Fechterbunds war, als Begründer der olympischen Bewegung in Deutschland erfolgte erst spät. 1992 wurde in Essen das Willibald-Gebhardt-Institut (WGI) als Forschungsinstitut für Sport und Gesellschaft gegründet, das seit 2018 als An-Institut der Universität Münster geführt wird und ein vom IOC anerkanntes Olympic Study Center ist. Seit 2003 trägt das Sportzentrum Berlin-Schöneberg den Namen Willibald-Gebhardt-Sportzentrum Schöneberg, und seit 2005 fördert die vom WGI und der Sparkasse getragene Willibald-Gebhardt-Stiftung Projekte im Bereich des Kinder- und Jugendsports.