Rübner wuchs in einer deutschsprachigen jüdischen Familie in Preßburg (Bratislava, Tschechoslowakei, heute Slowakei) auf. Hier besuchte er das Staatsrealgymnasium, das er nach der deutschen Besetzung der Tschechoslowakei wegen seiner jüdischen Herkunft verlassen musste. Im April 1941 gelangte er mit dem letzten Jugendtransport gemeinsam mit Freundinnen und Freunden aus dem Jugendbund Haschomér Hazair über Ungarn, Rumänien, die Türkei, Syrien und Libanon in den Kibbuz Merchavia bei Afula (Palästina). Mit seinen Angehörigen – Eltern, Großeltern, der jüngeren Schwester – stand er bis zu deren Deportation in das Konzentrationslager Auschwitz 1942 in brieflichem Kontakt.

In Merchavia arbeitete Rübner als Schafhirte und auf dem Feld und begann, Gedichte zu schreiben – bis 1954 in deutscher Sprache, danach auf Hebräisch, nach 1992 auch wieder auf Deutsch.

Bei einem Busunfall, bei dem seine erste Ehefrau starb, wurde Rübner 1950 schwer verletzt. Außerstande weiterhin körperlich zu arbeiten, war er danach als Bibliothekar und Lehrer an einer Mittelschule angestellt. Gefördert von seinem Freund, dem Bibliothekar und Literaturwissenschaftler Werner Kraft (1896–1991), wurde Rübner als Professor an die Universität Haifa berufen, wo er bis zu seiner Emeritierung 1992 Vergleichende Literaturwissenschaft lehrte. Neben dieser Tätigkeit arbeitete er als Übersetzer. So übertrug er u. a. Werke Samuel Joseph Agnons (1888–1970) und 1993 Gedichte seines Freundes Dan Pagis (1930–1986) in das Deutsche sowie Gedichte von Anton (Israel) Pincas (geb. 1935) („Diskurs über die Zeit“, 2012), Johann Wolfgang von Goethe (1749–1832), Franz Kafka (1883–1924), Paul Celan (1920–1970) und Friedrich Schiller (1759–1805) in das Hebräische.

Kraft und Ludwig Strauß (1892–1953), mit dem Rübner ebenfalls eine Freundschaft verband und dessen vierbändiges Gesamtwerk (1998–2000) sowie den Briefwechsel (1990) mit Martin Buber (1878–1965) er mitherausgab, bestärkten Rübner in seinem eigenem dichterischen Schaffen. Leah Goldberg (1911–1970) veröffentlichte 1953 in der zionistisch-sozialistisch ausgerichteten Tageszeitung „Davar“ sein erstes hebräisches Gedicht; Rübners hebräische Biografie der Dichterin (1980) dient bis heute als Grundlage der israelischen Goldberg-Forschung.

Von 1963 bis 1966 fungierte Rübner als Abgesandter der Jewish Agency in Zürich, wo er an der Universität die Vorlesungen Emil Staigers (1908–1987) und Wolfgang Binders (1916–1986) hörte. Rübner schloss in dieser Zeit Freundschaft mit Friedrich Dürrenmatt (1921–1990) und dessen Frau Lotti Dürrenmatt (1919–1983) und unternahm auch später ausgedehnte Reisen nach Europa.

Rübners Lyrik ist geprägt vom Erlebnis der antisemitischen Verfolgung vor 1941 und der Vernichtung der Juden, allen voran seiner engsten Angehörigen; die Erinnerung an die Verlorenen wurde zur Triebfeder seines Schreibens im „Schatten von Auschwitz“, das er als unaufhörliches Anschreiben gegen die Grenzen der Sprache und das Verstummen verstand. So präsentieren sich etwa die Gedichte seines Bandes „Wer hält diese Eile aus“ (2007), die er als „Kunstgebilde“ bezeichnete, als Ausdruck einer Aporie, einer tiefen existenziellen Ratlosigkeit. Hinter den Versen, in denen Rübner seine Verzweiflung in klare Aussagen fasste, wird das Unaussprechliche der Shoah vernehmbar. Sie zählen damit zu den eindrucksvollsten Gedichten über die unmenschliche Erniedrigung und Ermordung von Menschen. In ihnen entzieht sich das Eigentliche der Aussage und verweigert sich sowohl der wörtlichen wie der metaphorischen Benennung. Charakteristisches Stilmittel sind Paradoxa, in denen der Unterschied von Scheinen und Sagen aufgehoben wird. Das Bemühen des lyrischen Ichs, Worte zu finden für das Unsagbare, ist bloßgestellt im vorweggenommenen Wissen um die Vergeblichkeit allen Bemühens.

Rübers Frühwerk hatte surrealistische, die Wirklichkeit verfremdende Züge. Später, in der Entwicklung von Paradoxa als Stilmittel (u. a. „Helldunkel“, „Ein langes kurzes Leben“, „Stein will fließen“), stellte Rübner sich in seiner Dichtung „den Dingen des Lebens“; er gestaltete Dichtung, die sich kritisch auseinandersetzt mit dem Alltag in Israel, mit der Shoah, dem Verlust von Angehörigen, auch dem seit 1980 in Südamerika verschollenen Sohn.

Rübner lässt sich aber keiner „Schule“ oder bestimmten literarischen Gruppe zurechnen, was die Rezeption erschwerte. Lange Zeit schrieb er zudem auch in Israel auf Deutsch, um seinen Angehörigen nahe zu sein. Erst nach und nach erlernte er das Hebräische. In Deutschland wurde er Leserinnen und Lesern 1990 von Christoph Meckel (1935–2020) und Efrat Gal-Ed (geb. 1956) vorgestellt, die mit „Wüstenginster“ einen Querschnitt aus seinem Werk herausgaben. Seit 1995 veröffentlicht der Aachener Rimbaud-Verlag sein Werk.