Nach dem Besuch einer Volksschule bis 1866 und einer Tätigkeit als Pferdeknecht in Groß Godems bei Parchim übersiedelte Abs 1868 nach Hamburg, wo er in einer Fabrik arbeitete. 1873/74 leistete er im 76. Infanterie-Regiment „Hamburg“ Militärdienst und war bis zu seiner Hochzeit 1877 Zimmermann und Kutscher, danach Gastwirt und professioneller Artist.

Als Athlet schlagartig bekannt wurde der 1,84 Meter große Abs mit 103 Kilogramm Kampfgewicht, als er in einem Ringkampf in Hamburg den „Eisernen Wilhelm“ schulterte, der in herumreisenden Varietés die stärksten Männer der Gastspielorte herausforderte. Abs trat daraufhin seit etwa 1879/80 in Varietés auf und gründete 1881 in Hamburg den Athleten-Club Carl Abs, eine der Keimzellen der deutschen Schwerathletik. National machte er sich einen Namen, als er im Sommer 1882 in Berlin bei der Sport-Ausstellung, der ersten Messe der Sportbranche, den Wettbewerb im Ringen gewann. Der Hygieniker Ferdinand Hueppe (1852–1938) als Zeuge dieses Ereignisses lobte Abs daraufhin in der „Allgemeinen Sport-Zeitung“ vom 10. August 1882 als aufrichtigen Athleten, der – anders als Artisten wie Emil Naucke (1855–1900) – mit „ehrlichen“ (nachprüfbaren) Gewichten arbeite.

In der Folge stieg Abs zu einer der ersten populären Figuren des deutschen Sports auf. Er gilt als Nestor der deutschen Athletikbewegung; die Demonstration seiner Kraft in Zirkusbetrieben wie Renz, Carré, Blumenfeld und Corty-Althoff führte in zahlreichen Städten zur Gründung von Athletikvereinen. Abs wurde daher auch als „bedeutendster Ringer“ Deutschlands am Ende des 19. Jahrhunderts bezeichnet (Großpietsch).

Abs rang v. a. im in Frankreich entwickelten griechisch-römischen Stil und bezwang, obwohl er kein systematisches Training betrieb und nicht abstinent lebte, die führenden französischen Ringer, so François Fournier im November 1889 im berühmten Pariser Cirque d‘hiver. Weltweite Aufmerksamkeit erhielt er auf einer Tournee durch den Osten der USA von Februar bis Juni 1885, wo ihn v. a. deutschstämmige Zuschauer feierten. Am 3. April und 18. Mai 1885 erreichte Abs in Kämpfen gegen den US-Champion William Muldoon (1852–1933) jeweils Unentschieden, woraufhin die auflagenstarke Zeitung „Police Gazette“ ihm die „Champion-Medaille“ verlieh.

Nach seiner Rückkehr nach Hamburg am 13. Juli 1885 ließ sich Abs mit den bis zur Gründung des Weltverbands 1891 ungeschützten Titeln des „stärksten Manns der Welt“ und „Weltmeisters“ bewerben. Er verlegte sich zunehmend auf Kraftdarbietungen, hob Pferde und 1892 in der Hamburger Flora einen jungen Elefanten.

Den Höhepunkt seiner Karriere erreichte Abs im Sommer 1891 mit einer Kampfserie gegen den englischen Ringer Tom Cannon (1852–nach 1908) mit Siegen vor 3000 Zuschauern im Belle-Alliance-Theater in Altona am 12. Juni 1891 und vor rund 10 000 Zuschauern am 25. Juli 1891 im American Theater in Berlin, wo ein dritter Kampf am 30. Juli 1891 mit Remis endete. Die von dem Hamburger 1890 als Impresario engagierten Theaterdramaturgen August Piefo (1857–1909) organisierten Spektakel brachten Abs geschätzt rund 60 000 Reichsmark brutto ein. In der Folge der Kämpfe wurde Abs in der „Nationalzeitung“ beschuldigt, die mit hohen Wetteinsätzen verbundenen Kämpfe manipuliert zu haben. Ähnliche Vorwürfe wiederholten sich 1893/94 nach Kampfserien mit dem griechischen Ringer Antonio Pierri (1860–1920). Seinen letzten Kampf absolvierte Abs am 27. Dezember 1894 in Rendsburg (Holstein).