Nace en Kamenice nad Lipou (Bohemia), el 5 de diciembre de 1870.

Su origen humilde y su frágil salud no fueron obstáculo para que estudiara piano y composición desde la infancia, primero con el profesor de música local, Vilém Pojman, y a partir de 1889 en el Conservatorio de Praga.

Paralelamente ingresó becado en la Universa de Praga para estudiar Derecho, pero el continuo abandono de las clases para asistir a ensayos, conciertos y representaciones le supusieron la retirada de la beca.

Al igual que otros compositores checos del momento, se interesó por la música popular bohemia, realizando continuos viajes por toda la región para recabar cientos de melodías.

Este material rara vez fue utilizado por Novak de forma directa en sus composiciones, sirviendo más bien de referencia y síntesis a un estilo melódico y decididamente contrapuntístico como el suyo.

El uso del folclore checo revitalizó de tal modo su música que pasó de ser un compositor desconocido a uno de los más apreciados en su país natal, concediéndosele en 1909 un puesto de profesor en el Conservatorio de Praga y firmando en esas fechas un contrato en exclusiva con la Universal Edition.

Sus conocimientos etnomusicales le valieron también el nombramiento como miembro de la Academia checa de música.

Con todo, volvió a tener una época de esplendor en la década de 1930-40.