Sa musique garde le souvenir d’une enfance en Nouvelle-Angleterre, et d’un père, ancien musicien de l'armée qui aimait particulièrement les fanfares et les chorales.

De 1894 à 1898, il étudie à l'université de Yale; il compose Psaume 67; 1895 – 1898, première symphonie; 1896, 1er Quatuor à cordes; 1897 – 1902, 2ème symphonie.

En 1898 débute sa vie professionnelle qui est loin du milieu musical; il entre, en effet dans une compagnie d’assurances.

Malgré cela, il poursuit son activité de compositeur: 4 Sonates pour violon et piano de 1902 à 1916, Three Places in New-England et First Orchestral Set de 1903 à 1914, 3ème symphonie en 1904, trio pour piano, violon et violoncelle de 1904 à 1911, Holidays-Symphonie de 1904 à 1913, Central Park in the Dark et The Unanswered Question en 1906.
 

En 1907, il fonde la compagnie d’assurances Ives & Myrick, qui sera florissante.

La musique demeure un passe-temps; il écrit un 2ème Quatuor à cordes entre 1907 et 1913, Robert-Browning-Ouverture entre 1908 et 1912, Second Orchestral Set entre 1909 et 1915, une 4ème Symphonie entre 1910 et 1916, Tone-Roads de 1911 à 1915.

Une grave crise cardiaque en 1918 n’arrête pas son élan; en effet, dès 1919, il publie à compte d’auteur sa célèbre Concord Sonata.

En 1922, il publie un volume de 114 songs , qu’il avait composées entre 1888 et 1921.

Puis de 1922 à 1924, il compose Quarter-tone pieces, entre 1927 et 1928 Universe Symphony.

En 1930, il se retire de la vie active; il abandonne affaires et musique.

Mais son œuvre commence à recueillir une certaine notoriété: en 1939 John Kirkpatrick exécute la Concord Sonata à New-York.

En 1947, Ives reçoit le Prix Pulitzer pour sa Symphonie n° 3.