Als Sohn eines Zigarrenfabrikanten in Dresden geboren, besuchte Levy hier die von Marcus David Landau (1789–1851) geleitete Jüdische Schule sowie das Realgymnasium „Dreikönigsschule“. Zugleich absolvierte er ein Talmudstudium bei dem konservativ-reformorientierten Rabbiner und späteren Gründungsdirektor des Jüdisch-Theologischen Seminars Fraenckel’sche Stiftung in Breslau, Zacharias Frankel (1801–1875), das zu seiner liberalen Einstellung gegenüber innerjüdischen Fragen beigetragen haben dürfte. Trotz seines ausgeprägten Interesses an Literatur und jüdischen Studien nahm Levy kein Studium auf, sondern war zunächst als Kaufmann tätig.

Seit 1872 mit einer Protestantin verheiratet, übernahm Levy 1875 die Schriftleitung der konservativen „Dresdner Nachrichten“, wechselte im folgenden Jahr in derselben Funktion zur „Dresdner Zeitung“ und ging 1881 als Feuilletonleiter zu dem Amtsblatt „Sächsische Dorfzeitung“. 1884 übersiedelte er nach Freiberg, wo er sich der Freimaurerloge „Zu den drei Bergen“ anschloss und einziges jüdisches Mitglied des dortigen Altertumsvereins wurde. Neben seiner journalistischen Tätigkeit zu hauptsächlich tagesaktuellen und regionalgeschichtlichen Themen veröffentlichte er seit Ende der 1870er Jahre – z. T. unter Pseudonym – Gedichte, Lustspiele und Erzählungen. Aus seinen Veröffentlichungen spricht eine Verehrung für den Philosophen und Aufklärer Jean-Jacques Rousseau (1712–1778) sowie für den französischen Dichter und Politiker Alphonse de Lamartine (1790–1869), dessen Werke er teilweise übersetzte. Zugleich verlieh Levy öffentlich wiederholt seiner Bewunderung und Loyalität gegenüber dem deutschen Kaiserreich und Kaiser Wilhelm II. (1859–1941) Ausdruck.

Gesellschaftlicher Ausgrenzung und antisemitischer Agitation ausgesetzt, verließ Levy 1893 Freiberg und zog nach Berlin, wo er für kurze Zeit beim „Berliner Tageblatt“ arbeitete. Am 17. Oktober 1894 wurde er zum Generalsekretär des 1893 gegründeten Centralvereins deutscher Staatsbürger jüdischen Glaubens (CV) gewählt – ein Amt, das er 1912 aus Altersgründen niederlegte. Levy galt noch vor dem langjährigen Vorsitzenden Maximilian Horwitz (1855–1917) als treibende Kraft innerhalb des CV, dessen Ziel die politische und gesellschaftliche Gleichstellung deutscher Jüdinnen und Juden war. Der Verein wuchs von seiner Gründung bis 1913 von rund 1500 auf über 35 000 Mitglieder an, die, ebenso wie Levy, vornehmlich dem assimilierten bürgerlich-liberalen Judentum angehörten.

1895 übernahm Levy die redaktionelle Leitung und Herausgeberschaft der neu gegründeten Vereinszeitschrift „Im deutschen Reich“ (IdR), die mit einer Auflage von 37 000 Exemplaren (1913) zur auflagenstärksten jüdischen Zeitschrift in Deutschland avancierte und für die er die Rubriken „Umschau“ und „Vereinsnachrichten“ redigierte. Als zugleich wichtigster Beiträger der Zeitschrift verfasste Levy bis 1916 zahlreiche politische, religiöse und historische Beiträge sowie Rezensionen. Ein Schwerpunkt der Zeitschrift lag auf der Abwehr von und Aufklärung über den Antisemitismus – eine Aktivität, die mit einem Bekenntnis zu „Deutschtum und Judentum“ einherging. Während des Ersten Weltrkiegs bekundete IdR die Loyalität des deutschen Judentums zum Kaiserreich und forderte die Leserschaft auf, in jeglicher Kapazität die deutschen Kriegsziele zu unterstützen.

Levys Führungsfunktion im CV prägte in der Folgezeit sein journalistisches und schriftstellerisches Schaffen. Er wandte sich vermehrt jüdischen Themen zu und legte einen Schwerpunkt auf Schriften, die zu einer Aufklärung und Verständigung zwischen deutschen Juden und Nichtjuden beitragen und antisemitische Stereotype widerlegen sollten. Besonders hervorzuheben sind hier „Die Erziehung der jüdischen Jugend zum Handwerk und zur Bodenkultur“ (1895) und „Geschichte der Juden in Sachsen“ (1900).