Desde su primera infancia vivió el ambiente musical familiar, siendo su padre violinista en la orquesta del Teatro Colón de Buenos Aires y su madre una profesora de piano que influyó mucho en su determinación por seguir la carrera musical y a la que perdió joven, justo al principio de su carrera internacional como pianista.
Gelber empezó a estudiar piano a los tres años y medio, siendo capaz de interpretar sonatas y conciertos desde los cinco años de edad. Fue alumno, desde los seis años y durante una década, de Vincenzo Scaramuzza, que tuvo entre sus discípulos a Marta Argerich, de quien Gelber es coetáneo, y al padre de Daniel Barenboim, entre otros.
Fue víctima de poliomielitis a los siete años de edad, debiendo quedarse en reposo durante más de un año. Sus padres realizaron las adaptaciones oportunas para que pudiera tocar el piano con el menor esfuerzo posible desde la cama.
Debutó en público a los diez años, interpretando el Concierto para piano n.º 3 de Beethoven, bajo la dirección de su maestro. A los catorce años debutó en el Teatro Colón con el concierto para piano de Robert Schumann, bajo la dirección de Lorin Maazel.
Continuó sus estudios de piano en París a partir de los diecinueve años con la célebre pedagoga Marguerite Long -para la que fue, en sus propias palabras, el último pero el mejor de sus alumnos-, gracias a una beca del gobierno francés. Continuó residiendo en la capital francesa hasta finales de los años ochenta, cuando se trasladó a Mónaco.
Ha celebrado más de cinco mil conciertos en las más importantes capitales del mundo.