Il suo aspetto da guerrigliero, il suo carisma e il suo eloquio hanno attirato le masse quanto le donne, tutti caduti sotto l’effetto Fidel", un aspetto della sua vita sul quale Castro ha mantenuto la massima discrezione.
Nelle sue innumerevoli interviste, l'ex presidente cubano ha raramente menzionato suoi amori, ma una volta ha ammesso di avere avuto "una vita piena di amore" ossia di conquiste con una predilezione per le bionde ma senza disdegnare le mulatte della sua terra. Negli anni 1950 e 1960, seduce americane, tedesche e italiane.
Poco dopo il suo arrivo al potere nel 1959, Fidel Castro ha avuto una relazione con una ragazza tedesca, Martina Lorenz e secondo quanto recentemente scritto in un libro pare che fosse stata assoldata dalla CIA per assassinare il "Comandante" ma si ritrasse al momento fatidico.
Nel 1964, ha anche avuto una breve relazione con Evelyne Pisier, sorella dell'attrice Marie-France Pisier, e nel 1970 ha stabilito una stretta amicizia con l'attrice italiana Gina Lollobrigida che realizzò un documentario su di lui.
Gli storici gli attribuiscono almeno otto figli. "Politicamente, come rivoluzionario, io rifiuto l'idea di mescolare la politica alla famiglia " ha confidato Castro nel 2002 al regista statunitense Oliver Stone in un documentario sulla sua vita. In questa biografia, ha rivelato che non ha mai sposato Dalia Soto del Valle, bionda con gli occhi verdi di 15 anni più giovane con il quale ha vissuto dal 1980 in una casa a L'Avana occidentale . Ex maestra di scuola "Lala", lo ha conosciuto nel 1961 nel corso di una campagna di regime di alfabetizzazione, ed è la madre dei suoi cinque figli: Alejandro, Alex, Antonio, Alexis e Angelo
Fidel Castro si è sposato una sola volta, il 12 ottobre 1948 con Mirta Diaz-Balart, la ricca studentessa di filosofia, e madre del suo primo figlio , Fidelito, un fisico nucleare oggi 67enne. Divorziarono nel 1954 dopo aver appreso che la moglie amoreggiava con il ministro dell'Interno, mentre lui languiva in carcere dopo il fallito assalto contro la caserma Moncada (1953), dove ebbe inizio la sua leggenda.
Prima del divorzio , si innamorò nel 1952 Natalia Revuelta, "Naty" una bella donna bionda, che gli dà una figlia, Alina nata nel marzo 1956 la quale dal temperamento ribelle fuggirà da Cuba nel 1993 per vivere a Miami. A metà del 1955, Castro ha avuto anche una relazione con una creola, Maria Laborde, attivista del movimento, dalla quale avrà un altro figlio, Jorge Angel.
Ma una delle donne più influenti nella vita di Fidel Castro è stata senza dubbio Celia Sanchez, che aveva incontrato nella giungla della Sierra Maestra nel 1957. E 'stata il suo braccio destro, la sua confidente, la sua segretaria personale e forse ancor di più fino alla sua morte per cancro nel 1980.
Con l'eccezione di Alina, tutti i suoi figli vivono a Cuba, ma sono sempre stati preservati dall’attenzione dei media. L'architetto instancabile della Rivoluzione cubana ammise di aver trascorso poco tempo con loro ma che sperava di essere stato comunque un buon padre.