La Voz, se casó en 1939 con Nancy Barbatro, madre de los tres hijos que tuvo el cantante: Nancy, Frank y Tina.
A pesar de que la llamó sweetheart toda la vida, sus viajes facilitaron que la engañara desde el principio. Y aunque su imagen de guapo padre de familia le jugaba a favor a su carrera, no fue demasiado cuidadoso con la bulla que metían sus amoríos.
