Nace en París el 8 de agosto de 1905; estudia piano con su madre y violonchelo con Louis Feuillard, pero siempre desde una perspectiva de aficionado, pues su familia deseaba para él la carrera de profesor de escuela convencional.

De hecho, ejerce como tal desde 1927 en una escuela de París, al tiempo que es alumno de P. Le Flem en composición.

En 1930 estudia composición y orquestación con Edgar Varèse aprendiendo un sistema armónico que tiene como punto de partida el sistema numérico pitagórico como ente rector del universo.

No en vano, la concepción musical de Jolivet tiene siempre algo de mágico, de espiritual, de religioso.

También influye en Jolivet el conocer a Schönberg, Berg y Bartók.

Es la época de la armonía atonal, y la libertad melódico-rítmica en la obra de Jolivet.

Tras la guerra su música es menos críptica para el público, es decir, modal, melódica y rítmicamente más sosegada.

Del 1945 al 1959 es director musical de la Comedia Francesa.

En 1951 obtiene el Gran Premio Ciudad de París y en 1959 funda el Centro Francés de Humanismo Musical.

Sin embargo Jolivet aún no satisfecho y vuelve a revolucionar su música componiendo la Sonata n.1 para piano, obra que sintetiza las dos etapas del compositor y da comienzo a una tercera.

Profesor de composición en el Conservatorio de París desde 1966, en 1972 gana el Premio Nacional de Música de Francia.