Nach dem Abitur 1848 am Humanistischen Gymnasium in Greifswald studierte Ziemssen Medizin an den Universitäten in Greifswald, Berlin (1849) und Würzburg (1850/51), wo er als Privatassistent Rudolf Virchows (1821–1902) arbeitete. Von 1852 bis 1854 setzte er sein Studium an der Universität Greifswald fort und wurde hier 1854 mit der Dissertation „De gangraenae nosocomialis historia et literatura“ (1853) zum Dr. chir. et med. promoviert. 1852/53 arbeitete Ziemssen als Volontärassistent an der Geburtshilflichen Klinik in Greifswald und bestand 1854 in Berlin das medizinische Staatsexamen.

Danach war Ziemssen bis 1861 in Greifswald unter Heinrich Haeser (1811–1885), dann unter Felix von Niemeyer (1820–1871) und Hugo Ruehle (1824–1888) Assistent an der Medizinischen Klinik. 1856 mit der Arbeit „Die Electricität in der Medicin“ für Medizin habilitiert, wurde Ziemssen zum Privatdozenten und 1861 zum außerordentlichen Professor für Medizin und Leiter der Poliklinik an der Universität Greifswald ernannt. Zugleich war er amtlich bestellter Pockenarzt.

1863 wurde Ziemssen als Professor für Klinische Medizin an die Universität Erlangen berufen, wo er den Lehrstuhl für Spezielle Pathologie und Therapie erhielt und die Leitung der Medizinischen Klinik und Poliklinik übernahm. 1864 lehnte er einen Ruf nach Greifswald ab sowie später Rufe nach Basel, Bern, Dorpat (Russland, heute Tartu, Estland), Jena, Königsberg (Preußen, heute Kaliningrad, Russland), Gießen und Breslau (Schlesien, heute Wrocław, Polen).

Während des Deutsch-Französischen Kriegs führte Ziemssen 1870 einen Sanitätszug nach Frankreich und arbeitete in Metz (Lothringen, heute Frankreich) in verschiedenen Krankenhäusern. 1874 wurde er zum ordentlichen Professor für Specielle Pathologie und Therapie und Direktor der 2. Medizinischen Klinik (Städtisches Allgemeines Krankenhaus oder Klinikum links der Isar) nach München berufen und war von 1885 bis zu seinem Tod Direktor der 1. Medizinischen Klinik. In München wirkte er als Geheimer Rat, Obermedizinalrat sowie Vorstand des Medizinalkomitees und rief die bereits 1868 in Erlangen eingeführte Institution der „Unterärzte“ ins Leben, die fortgeschrittenen Medizinstudenten praktische klinische Erfahrungen ermöglichte. Des Weiteren intensivierte er die Ausbildung in der Laryngologie, Otologie und Dermatologie. Die bauliche Umsetzung seines wissenschaftlichen Programms gelang Ziemssen 1878 mit der Gründung des Medizinisch-Klinischen Instituts im Krankenhaus links der Isar, das erstmals in Deutschland medizinisch-naturwissenschaftliche experimentelle Forschung mit ärztlicher Ausbildung verband. Dieses Institut war beispielhaft für andere Universitäten; so wurde 1879 in Leipzig ein ähnliches Klinisches Institut gegründet. Ziemssens Beschäftigung mit physikalischen, hydrotherapeutischen und elektrischen Heilverfahren führte 1898 in München zur Gründung des Lehrstuhls für Physikalische Therapie und Röntgenologie.

1862 veröffentlichte Ziemssen die Monografie „Pleuritis und Pneumonie im Kindesalter“ sowie 1863 mit Paul Krabler (1841–1907) die auf medizinischen Statistiken der großen Greifswalder Masernepidemie von 1861 basierende Stdudie „Klinische Beobachtungen über die Masern und ihre Complicationen“. 1866 begründete er in Erlangen mit Friedrich Albert von Zenker (1825–1898) die Fachzeitschrift „Deutsches Archiv für klinische Medicin“, die bis 1965 erschien und eine der bedeutendsten medizinischen Zeitschriften war. 1874 rief Ziemssen als Herausgeber das „Handbuch der speciellen Pathologie und Therapie“ (17 Bde.) ins Leben, in dem zahlreiche Autoren das medizinische Wissen zusammenfassten. Ziemssen verfasste die Beiträge „Croup“ (Bd. 4, mit Johann Steiner), „Krankheiten des Oesophagus“ (Bd. 7, mit Zenker), „Chorea“ (Bd. 12), „Die Krankheiten des Kehlkopfes“ (Bd. 5), „Meningitis cerebro-spinalis-epidemica“ (Bd. 2) und „Physiologie der Haut“ (Bd. 14). Wegweisend waren seine Arbeiten zur Elektrophysiologie, insbesondere zur Wirkung der Elektrizität auf das Herz.

Als Verfechter der experimentell-naturwissenschaftlichen medizinischen Forschung realisierte Ziemssen dieses Konzept in der Weiterentwicklung des Krankenhauswesens (Neugestaltung des städtischen Krankenhauses links der Isar), mit der Reform des klinischen Unterrichts und in der Forschung, in dem er Krankheitsbilder hinsichtlich Pathophysiologie, Verlauf und Therapie erforschte und physikalische Methoden der Elektrodiagnostik v. a. bei Herzerkrankungen und der Hydrotherapie einführte. Als Angehöriger des Gesundheitsrats der Stadt München reorganisierte Ziemssen mit Max von Pettenkofer (1818–1901) erfolgreich und nach Gesichtspunkten der medizinischen Hygiene die Abwasserbeseitigung der Stadt. Zu seinen Schülern zählen der Internist und Radiologe Hermann Rieder (1858–1932), seit 1898 Direktor des in München neugeschaffenen Instituts für Physikalische Therapie und Röntgenologie (Rieder-Institut), der Münchner Gynäkologe Max Stumpf (1852–1925) sowie der Psychiater, Schriftsteller und Satiriker Oskar Panizza (1853–1921).