Фред МакДауэлл родился в Россвиле, штат Теннесси, близ Мемфиса. Его родители, которые были фермерами, погибли, когда МакДауэлл был подростком. Он начал играть на гитаре в возрасте 14 лет на танцах в городе. Страстно желая перемен, МакДауэлл переехал в Мемфис в 1926 году, где работал в ряде мест и играл на улице.