Карьера Нормана начинается в 80-х, в связи с гитарной группой The Housemartins, где Норман числился бас-гитаристом. Карьера группы оказалась весьма короткой, но оба альбома Housemartins продались неплохими тиражами и на все лады превозносились критикой. Музыкальный стиль коллектива — мелодичный гитарный поп с умными ироничными текстами и сразу узнаваемым звучанием ничем не уступал альбомам U2 и New Order того же периода.