Рэй Барретто родился в районе Бруклин Нью-Йорка в семье пуэрториканцев. По правилам испанского языка его фамилия должна была быть записана в свидетельстве о рождении как Barreto, но вследствие ошибки, вызванной формальной передачей звучания фамилии с помощью английской орфографии, фамилия обрела второе «T». Родители Рэя переехали из Пуэрто-Рико в Нью-Йорк в начале 1920-х годов в поисках лучшей доли. Детство Барретто прошло в латиноамериканских гетто Испанского Гарлема и Бронкса.