Conze besuchte Schulen in Halberstadt, Naumburg an der Saale, Grunewald bei Berlin und Leipzig, damit den Aufstiegsstationen des Vaters zum Reichsgerichtsrat folgend. Nach dem Abitur an der Leipziger Nicolaischule 1929 studierte er Kunstgeschichte, dann Neuere Geschichte in Marburg an der Lahn, Leipzig und Königsberg (Preußen, heute Kaliningrad, Russland). 1934 wurde er hier bei Hans Rothfels (1891–1976) mit einer Studie zur „Sprachinsel“ Hirschenhof zum Dr. phil. promoviert.

Conze, der seit 1933 Mitglied der SA und seit 1937 der NSDAP war, wurde 1939 zur Wehrmacht eingezogen, war zuletzt an der Ostfront eingesetzt, erlitt dort eine schwere Verletzung und geriet nach Kriegsende kurzzeitig in sowjetische Kriegsgefangenschaft. 1940 nutzte er einen Lazarettaufenthalt, um sich bei dem Soziologen Gunther Ipsen (1899–1984), der ihm neben Rothfels zum wichtigsten Lehrer wurde, in Wien mit einer Arbeit über die Agrarverfassung in Litauen und Weißrussland zu habilitieren. Einem Ruf an die Reichsuniversität Posen (heute Poznań, Polen) konnte er 1943 kriegsbedingt nicht folgen. Conzes Forschungen vor 1945 sowie ein nicht durchgeführtes Projekt zur Geschichte Masowiens sind im Kontext der Mobilisierung der deutschen Wissenschaft für die nationalsozialistische „Lebensraum“-Politik zu verorten.

Nach 1945 bestritt Conze seinen Lebensunterhalt mit Hörergeldern eines unbesoldeten Lehrauftrags in Göttingen sowie zusätzlichen Unterstützungen durch die Klosterkammer, ehe er 1951 als Lehrstuhlvertreter Kurt von Raumers (1900–1982) an die Universität Münster wechselte. Hier wurde er zum Diätendozenten, 1954 – nach der Ablehnung eines Rufs an die TU Berlin – zum außerordentlichen Professor für Neuere Geschichte, Sozial- und Wirtschaftsgeschichte und 1956 zum persönlichen Ordinarius für Neuere und Neueste Geschichte ernannt. 1957 erhielt Conze ein Ordinariat für Neuere Geschichte an der Universität Heidelberg, wo er bis über seine Emeritierung 1979 hinaus lehrte. 1969 wurde er im zweiten Anlauf zum Rektor der Universität gewählt, stellte sich 1970 nach der Verabschiedung einer neuen Grundordnung erneut zur Wahl und unterlag bei dieser dem evangelischen Theologen Rolf Rendtorff (1925–2014). Rufe nach Bonn 1961 und München 1965 lehnte Conze ab.

In Göttingen entwickelte Conze seine Idee einer „Strukturgeschichte des technisch-industriellen Zeitalters“ – so der Titel eines wegweisenden Vortrags 1956. Als Struktur-, später als Sozialgeschichte benannt, sollten mit diesem Ansatz die grundlegenden Umwälzungen seit der Industrialisierung analysiert werden. Diese, so Conze, seien mit dem methodischen Instrumentarium der herkömmlichen Politikgeschichte nicht angemessen zu erfassen, sondern benötigten eine Untersuchung von Sozialstrukturen, demografischen Entwicklungen, der Arbeiterbewegung, der ländlichen Agrarverfassung, Familienformen oder von Industriestädten. Zugleich wollte Conze die korrespondierende Trennung von Staat und Gesellschaft sowie Politik- und Sozialgeschichte aufheben, da sie eine Analyse moderner Gesellschaften verhindere. Die dahinterstehende politische Agenda zielte darauf ab, mit den Mitteln der Geschichtswissenschaft die Stabilität der bürgerlichen Sozialordnung in der Bundesrepublik wahren zu helfen und die Forderung nach der Rückgewinnung der verlorenen „Ostgebiete“ zu legitimieren, indem weiterhin die vermeintliche Kultivierung Osteuropas durch die Deutschen seit dem Mittelalter „belegt“ wurde. Conze trennte die „Volksgeschichte“ von ihrer NS-ideologischen Aufladung und lenkte ihre politische Stoßrichtung auf den Kalten Krieg um. In wichtigen Aufsätzen wie „Vom ‚Pöbel‘ zum ‚Proletariat‘. Sozialgeschichtliche Voraussetzungen für den Sozialismus in Deutschland“ (1954) legte er früh den Grundstein zu einer methodischen Revision der westdeutschen Geschichtswissenschaft. Seine intellektuellen Stichwortgeber waren u. a. die Soziologen Hans Freyer (1887–1969), Carl Jantke (1909–1989) und Ipsen, außerdem die Historiker Brunner und Reinhard Wittram (1902–1973).

An seinem Heidelberger Lehrstuhl ließ Conze – sowohl inhaltlich wie von der Forschungspraxis her innovativ – sozialhistorische Großprojekte durchführen; insgesamt betreute er mindestens 55 Dissertationen und zwölf Habilitationen, u. a. von Dieter Groh (1932–2012), Wolfgang Köllmann (1925–1997), Hans Mommsen (1930–2015), Lutz Niethammer (geb. 1939), Wolfgang Schieder (geb. 1935), Heilwig Schomerus (geb. 1944) und Horst Stuke (1928–1976). Conze richtete sein Augenmerk neben der deutschen auf die europäische und außereuropäische Geschichte. So half er, die „Schule der Annales“ in Deutschland bekannt zu machen und beteiligte sich 1962 maßgeblich an der Einrichtung eines Südasien-Instituts an der Universität Heidelberg. Die Geschichtswissenschaft der DDR nahm er als methodisch-politische Konkurrenz ernst. Seine Perspektive auf das Ende der Weimarer Republik brachte er 1957 in der Kontroverse mit Karl Dietrich Bracher (1922–2016) über die Bewertung Heinrich Brünings (1885–1970) zum Ausdruck, indem er Brünings Rolle deutlich positiver zeichnete als Bracher. Sein fortgesetztes Interesse an der Geschichte Ostmitteleuropas schlug sich in der unvollendet gebliebenen Monografie „Ostmitteleuropa von der Spätantike bis zum 18. Jahrhundert“ nieder (postum 1992). Methodisch ließ er sich v. a. von der Soziologie inspirieren, aber auch von Fächern wie der Volkskunde. Diese interdisziplinäre Orientierung mündete in Aufsätzen zur Ethnogenese von Nationen (1985) und zum Verhältnis von Evolution und Geschichte (1986).

Conze trat auch als wichtiger Wissenschaftsorganisator hervor. So gab er von 1962 bis 1986 die Schriftenreihe „Industrielle Welt“ heraus und gehörte seit 1979 dem Herausgeberkreis der „Vierteljahrschrift für Wirtschafts- und Sozialgeschichte“ an. Von 1972 bis 1976 fungierte er als Vorsitzender des Verbands Deutscher Historiker. An seinem großzügig ausgestatten Heidelberger Lehrstuhl initiierte Conze mit Fördermitteln des Bundes den bis heute bestehenden „Arbeitskreis für moderne Sozialgeschichte“, um die sozialhistorische Forschung in der Bundesrepublik zu vernetzen. Dem Arbeitskreis gehörten u. a. Theodor Schieder (1908–1984), Brunner, Jantke und Ipsen an sowie später Erich Maschke (1900–1982), Reinhart Koselleck (1923–2006) und Hans-Ulrich Wehler (1931–2014). Aus ihm gingen starke Impulse für eine Begriffsgeschichte hervor, deren Ziel es war, die gesellschaftlichen Umbrüche semantisch zu erfassen. Diesem Zweck und einer Präzisierung der Methodik diente auch das von Conze mitherausgegebene Nachschlagewerk „Geschichtliche Grundbegriffe. Historisches Lexikon zur politisch-sozialen Sprache in Deutschland“ (8 Bde., 1972–1997), an dem seit 1958 gearbeitet wurde. 1959 hielt er die jährliche Rede zum 17. Juni im Deutschen Bundestag, in der er sich für eine unzweideutige Westbindung der Bundesrepublik und eine harte Haltung gegenüber dem Osten stark machte und zugleich darlegte, warum eine Wiedervereinigung nicht aussichtslos sei.