Таня Донелли и ее сводная сестра Кристин Херш были лидерами и основателями группы Throwing Muses - карьера сестер развивалась успешно до того, пока Херш не решила сделать перерыв в концертной работе Throwing Muses. После записи альбома «The Real Ramona» Таня Донелли покинула группу. Она имела опыт работы в успешной женской панк-группе The Breeders, но у этого коллектива уже был лидер Ким Дил (Экс-Pixies), и потому в декабре 1991 года Донелли собрала Belly.