Swą pierwszą miłość poznał na zesłaniu na Syberii. Z Olesią Lewandowską połączył go gorący romans. Mieszkali razem, choć nie mieli ślubu. Wśród zesłańców nie budziło to jednak zgorszenia. Ale ten związek nie przetrwał dłużej. Po jej wyjeździe Józef znalazł sobie jednak szybko nową przyjaciółkę. Plotkowano potem, że porzucona Olesia zabiła się z rozpaczy.

Gdy późniejszy Naczelnik wrócił z zesłania, w 1892 roku w Wilnie Józef poznał Marię Juszkiewiczową. Maria była rozwódką. By móc ją poślubić, Piłsudski przeszedł na protestantyzm. Ślub odbył się w 1899 roku. O jego małżonce w Wilnie mówiło się „piękna pani”. Swą urodą oczarowała wielu mężczyzn. Wszyscy wiedzieli, że w Marii kochał się wielki polityczny rywal Piłsudskiego, Roman Dmowski. Odrzucony Dmowski nigdy potem nie związał się z żadną kobietą i zmarł jako kawaler.

Marszałek z Marią był 15 lat. Ale od 1906 roku był to martwy związek. W tym właśnie roku Piłsudski poznał

Aleksandrę Szczerbińską. Połączyła ich działalność konspiracyjna, ale jak się potem okazało - nie tylko. Zostali parą. Tymczasem Maria nie zamierzała ułatwiać mężowi budowania nowego związku i nie godziła się na rozwód. Żył więc Marszałek z Aleksandrą na kocią łapę. Katolicki ślub wzięli dopiero w 1921 roku, po śmierci Marii. Wtedy były już na świecie obie ich córki: Wanda i Jadwiga. A ich małżeństwo, choć przetrwało do końca, nie należało do najłatwiejszych. Marszałek, choć się starzał, nadal był czuły na niewieście wdzięki.

W 1924 r. podczas pobytu na kuracji w Druskiennikach poznał młodszą od siebie o 30 lat doktor Eugenię Lewicką. Eugenia była kobietą wielkiej urody, specjalizowała się w fizjoterapii i niekonwencjonalnych metodach leczenia. Para od razu przypadła sobie do gustu. Lubili ze sobą przebywać i często widziano ich, jak tylko we dwójkę spacerowali nad Niemnem. Do Druskiennik Marszałek zaczął przyjeżdżać regularnie. Jest tam "na kuracji” rok później i nawet w roku przewrotu majowego (1926) nie rezygnuje z wypoczynku.
Pani doktor stała się dla Piłsudskiego osobą bardzo bliską i ważną. Gdy w grudniu tego roku Piłsudski poleciał na Maderę, towarzyszyły mu tylko dwie osoby : płk. Wojczyński i oczywiście doktor Eugenia. A w Warszawie huczało od plotek.

Z niewyjaśnionych powodów Eugenia z Madery wróciła wcześniej i to sama. Czyżby para się pokłóciła? Tego nikt nie wie. Wiadomo, że zaraz po powrocie odwiedziła ją ona Marszałka - Aleksandra. Przebiegu rozmowy nikt nie zna, można się tylko domyślać, o czym panie rozmawiały. Kilka miesięcy później nieprzytomną Eugenię znaleziono w Instytucie. Zmarła zatruta środkami chemicznymi. Nigdy zagadki tej śmierci do końca nie wyjaśniono.

Na pogrzebie Eugenii Piłsudski pojawił się nieoficjalnie i skrył się w tylnych ławach kaplicy. Oddalił się cicho przed końcem nabożeństwa. W tym samym czasie obok Marszałka była też inna bezgranicznie oddana mu kobieta. Była to znana poetka Kazimiera Iłłakowiczówna i jednocześnie w latach 1926–35 jego sekretarka. Poetka nie tylko pracowała z Piłsudskim, była też częstym gościem w domu w Sulejówku. Nie było tajemnicą że Marszałka nie tylko szanuje, ale i wielbi. Do dziś niektórzy zastanawiają się, czy tę dwójkę łączyło coś więcej.