Het koppel kreeg twee dochters Isabelle en Corinne.

Zijn dochter Corinne is getrouwd met de Nederlandse wielrenner Adrie Van Der Poel.

Waardoor wielrenners Mathieu en David Van Der Poel zijn kleinkinderen zijn.

Raymond Poulidor was vooral populair omdat hij zich zo makkelijk kon schikken in zijn rol van underdog en tegenslagen kon incasseren.

In Frankrijk is hij bekend onder zijn bijnaam Poupou.

Hij wordt ook Eeuwige Tweede genoemd, omdat hij in vele wedstrijden net naast de hoofdprijs greep.Onder meer in de Ronde van Frankrijk werd hij driemaal tweede (1964, 1965 en 1974) en vijfmaal derde (1962, 1966, 1969, 1972 en 1976), zonder een etappe in de gele trui te hebben gereden.

In het begin van zijn carrière was Jacques Anquetil zijn grootste rivaal, later kreeg hij te maken met Eddy Merckx.

In 1964 kwam Poulidor het dichtst bij een Tourzege.

Op de Puy de Dôme vocht hij een duel uit met de grote favoriet Jacques Anquetil, die in tegenstelling tot Poulidor aan het einde van zijn krachten was.

Anquetil wist zijn vermoeidheid echter te verbergen, waardoor Poulidor te lang wachtte met zijn aanval.

In Parijs scheidden hem uiteindelijk slechts 55 seconden van de gele trui.

Poulidor legde met zijn Mercedes type 280SE, die hij in 1980 had gekocht, in 15 jaar maar liefst 740 000 kilometer af.

Dit zonder vervanging van vitale onderdelen.

Nadat de Duitse constructeur hierover was ingelicht, werd hem een nieuwe Mercedes-Benz E-Klasse E320 met automatische versnellingsbak en vele andere opties aangeboden.

De oude wagen staat tentoongesteld op de Franse hoofdzetel van Mercedes-Benz in Parijs.

In oktober 2019 werd hij met vermoeidheidsklachten opgenomen in een ziekenhuis. Poulidor overleed een maand later op 83-jarige leeftijd.

Als eerbetoon startte de negende etappe van de Ronde van Frankrijk 2004 in Saint-Léonard-de-Noblat , de woonplaats van Poulidor.