Holly Madison oli seitsemän vuoden ajan suhteessa Hugh Hefnerin kanssa ja asui miehen tyttöystävänä Playboy-kartanossa. Myöhemmin nainen on kertonut, että vuodet olivat hänelle traumatisoivat. Hugh Hefner oli hyvin kontrolloiva ja nainen koki suhteen myrkylliseksi.
Playboy-kartanosta lähdettyään Madison on tehnyt paljon töitä itsensä kanssa toipuakseen henkisestä kärsimyksestä, jota hän koki Hefnerin kanssa asuessa. Sen jälkeen hän löysi uuden rakkauden ja alkoi seurustelemaan Zak Bagansin kanssa.
Viime aikoina Holly Madison ja Zak Bagans ovat eronneet ja palanneet taas yhteen useita kertoja. Nyt 45-vuotias on kertonut TMZ-uutisen mukaan olevansa sinkku. Hänen mukaansa ei ole enää mitään mahdollisuuksia, että hän ja Bagans palaisivat enää koskaan yhteen. He eivät enää seuraa toisiaan sosiaalisessa mediassakaan ja ovat täysin poistuneet toistensa elämästä.