Il est l’élève d'Andrée Vaurabourg et de Messiaen au Conservatoire de Paris, puis il travaille avec René Leibowitz qui l'initie à la musique dodécaphonique.

De 1946 à 1956, il est directeur musical de la Compagnie Renaud-Barrault, où il fonde les concerts du " Domaine musical ", qu'il dirige jusque en 1967.

Il anime, tout à la fois, un studio de recherches musicales à la radio de Baden-Baden, il enseigne au Festival de Darmstadt et à l'Académie de musique de Bâle.

Il mène une carrière de chef d'orchestre, sans toutefois renoncer à son activité de compositeur.

C’est ainsi qu’on le retrouve à Bayreuth (1966-1976), à Londres (BBC Symphony Orchestra, 1971-1975), à Cleveland (1971), et qu’il dirige l'Orchestre Philharmonique de New York de 1971 à 1978.

L’hostilité qu’il éprouve à l’égard des milieux officiels le retient loin de Paris, mais en 1975 il prend la direction de l'IRCAM (Institut de recherche et de coordination acoustique/musique), qu'il a largement contribué à créer, et préside également l'Ensemble InterContemporain.

Son influence s'exerce ainsi non seulement sur l'avant-garde, mais sur l'ensemble du monde musical.

Ses talents de chef d’orchestre font l'unanimité, mais il n’en est pas de même pour sa musique, réputée difficile, qui soulève bien des contestations.