словам Мэрион Морган, "всю свою любовь он отдавал трубе, для прочего места не оставалось". Харри Джеймс родился в Олбани, штат Джорджия, в третьесортном мотеле, расположенном по соседству с городской тюрьмой. Его родители были артистами The Mighty Haag Circus - мать выступала на трапеции, а отец руководил цирковым оркестром. Харри, как и следовало ожидать, начал выступать в том же цирке как только научился ходить - уже в четыре года он начал играть на барабанах, в семь - на трубе, а в десять уже был полноправным членом оркестра цирка Christy Brothers.