Легар родился в австро-венгерском городе Комаром (сейчас это Комарно, Словакия), в семье военного капельмейстера. Среди предков Легара были немцы, венгры, словаки и итальянцы. Уже в пять лет Легар знал ноты и блестяще импровизировал на фортепиано.