Джеймс Тэйлор родился 12-го марта 1948-го года в Бостоне (Массачусетс) в семье Исаака Тэйлора - резидента массачусетского госпиталя Massachusetts General Hospital - и Гертруды Вудард – в прошлом оперной певицы. Джеймс был вторым ребенком из пятерых детей. Когда Джеймсу исполнилось три года, его семья отправилась в Северную Каролину, где родитель получил должность ассистента профессора медицины в Университете Северной Каролины (University of North Carolina School of Medicine). Позже отец будущего музыканта еще не раз менял работу - его карьера процветала и давала плоды.