Nace en Viena el 4 de octubre de 1871.

Allí estudio piano y composición en el Conservatorio teniendo como mentores a A. Door en piano y a J.N. Fuchs en composición.

Con Schonberg funda, en 1904, la Vereinigung Schaffender Tonkünstler para promocionar la música contemporánea.

La relación musical de Schoenberg y Zemlinsky se mantuvo durante toda la vida no sólo a través de esta sociedad, sino posteriormente por medio de la Prague Verein für Musikalische Privataufführungen (1921-1924).

Pero Zemlinsky fue durante toda su carrera fiel a la tonalidad .

Desde 1899 Zemlinsky compagina su faceta de compositor con la de director de orquesta en el Karlstheater de Viena, accediendo al cargo de Kapellmeister de la Volksoper en 1906, al de Director de su orquesta poco después y a partir de 1907 director de la orquesta de la Hofoper.

También dirigió los conjuntos de Mannheim (1909) y la Orquesta Krolloper de Berlín (1927), cargo que comparte con Otto Klemperer hasta 1932.

En 1933, se representa Der Kreidekreis en Zürich, y al final de la década de los treinta se traslada a Estados Unidos.