1909. aastal suri Stalini esimene naine Jekaterina Svanidze. See surm oli talle suur kaotus. Emotsioone ja veelgi enam värvikaid kõnepöördeid väljendama mitte kalduv mitte enam noor revolutsionäär rääkis tema südamesse tunginud külmast kivist. Kes teab, kuidas oleks maailma ajalugu arenenud, kui see jäine ja kõva objekt poleks maailma suurima riigi tulevase juhi rinda muljunud? Subjunktiivsed meeleolud on aga sellele teadusele võõrad.
Tema armastatud naiselt oli Jaakobi poeg, alles beebi. Mu isal polnud aega oma kasvatusega tegeleda, tal oli muid tegemisi. Poiss kasvas üles oma vanaema, ema Jekaterina (Kato) juures Thbilisis, õppis seejärel Moskvas - algul koolis ja seejärel kolledžis elektrotehnika erialal. Poja ja isa suhet on raske kirjeldada ning nendest tunnistust andvaid materjale on väga vähe. Faktid räägivad ebaõnnestunud enesetapukatsest õnnetu armastuse tõttu. Jaakobi isa mõistis lasu rindu vihaselt hukka ja tal keelati tegelikult majja.
Kas Nõukogude diktaator oma vanemat poega armastas, on raske öelda. Kogu riik imetles Stalini julgust, kes keeldus päästmast Vitebski lähedal vangi võetud vanemleitnant Džugašvilit ja määras ta praktiliselt surma. Teisest küljest kõikaastat pärast poja surma kandis maailma kommunistliku liikumise juht leina märgiks tuunika all musta T-särki, peidetud, nagu nii palju tema elus.
Stalini teine naine Nadežda Sergejevna Allilujeva oli oma abikaasast viisteist aastat noorem. Elukutselise revolutsionääri tütart köitis pärast Veebruarirevolutsiooni pagulusest naasnud romantilise võitleja kuvand. Ta oli siis kõigest kuusteist ja tulevane Üleliidulise bolševike kommunistliku partei keskkomitee peasekretär oli kolmkümmend kaheksa.
Aktiivne elupositsioon, kogenematus, naiivsus ja kalduvus revolutsioonilisele romantismile ärritasid tema abikaasat, kes püüdles võimu ja vägevuse poole.
Tema isiklik tagasihoidlikkus jõudis äärmuseni – paljud kolleegid ja organisatsioonide juhid, kus Nadežda Allilujeva töötas, isegi ei teadnud, et ta on Stalini naine. Teda taheti 1921. aastal isegi parteist välja visata, süüdistades passiivsuses ja anarho-sündikalismis (siis oli moes igasuguseid “isme” inimese külge riputada), aga abikaasa tõusis püsti. Ja Nadyusha ei töötanud mitte ainult kõikjal, vaid Lenini, Pravda sekretariaadis ja Revolutsiooni ja Kultuuri toimetuses ning õppis isegi Tööstusakadeemias. Ka seal ei teadnud ei õpetajad ega õpilased, et nende kõrval on Stalini naine.
Neil oli kaks last, poeg Vassili 1921. aastal ja tütar Svetlana 1926. aastal. Joseph Vissarionovitši teise perekonna elust on teada palju rohkem kui esimesest. See sai võimalikuks tänu 1967. aastal Läänes ilmunud raamatule "Kakskümmend kirja sõbrale". Kremli diktaatori tütar paljastas palju saladusi ja üksikasjalikultkirjeldas oma elu.
Stalini teine naine sooritas salapärastel asjaoludel enesetapu pärast Oktoobrirevolutsiooni 15. aastapäeva pidusööki Vorošilovites. Lauas käitus abikaasa ebaviisak alt ja see võis esile kutsuda enesetapu. Sündmustest oli mitu versiooni, alates Nadežda Allilujeva osalemisest valitsusvastases vandenõus ja lõpetades pidevate valusate migreenidega, kuid tõde pole enam teada.
Stalini naise hauale püstitati monument, väga ilus ja ilmekas. Lisaks nimele, perekonnanimele ja kuupäevadele on sellel märgitud parteiline kuuluvus: "NLKP liige (b)".