Фред МакДауэлл родился в Россвиле, штат Теннесси, близ Мемфиса. Его родители, которые были фермерами, погибли, когда МакДауэлл был подростком. Он начал играть на гитаре в возрасте 14 лет на танцах в городе. Страстно желая перемен, МакДауэлл переехал в Мемфис в 1926 году, где работал в ряде мест и играл на улице. Он окончательно обосновался в Комо, Миссисипи, около 40 миль к югу от Мемфиса, в 1940 или 1941 году, но, ведя фермерское хозяйство, продолжал играть на танцах и пикниках. Сначала Фред играл на слайд гитаре карманным ножом, затем перешел на слайд из реберных костей коровы.