Holly Madison oli seitsemän vuoden ajan suhteessa Hugh Hefnerin kanssa ja asui miehen tyttöystävänä Playboy-kartanossa. Myöhemmin nainen on kertonut, että vuodet olivat hänelle traumatisoivat. Hugh Hefner oli hyvin kontrolloiva ja nainen koki suhteen myrkylliseksi.
Hugh Hefner menehtyi vuonna 2017, jolloin Hefnerin ja Madisonin suhteen päättymisestä oli kulunut jo noin yhdeksän vuotta. Holly Madison ei halunnut ottaa osaa miehen muistelemiseen eikä tehnyt asiasta yhtäkään julkaisua sosiaaliseen mediaan. Hän seisoo edelleen tämän päätöksen takana.
Holly Madison kertoi People-sivuston haastattelussa, että kaikki odottivat häneltä jotain reaktiota Hefnerin kuolemaan. Nainen ei kuitenkaan kokenut mitään yhteyttä enää mieheen, jonka henkisestä pahoinpitelystä toipumiseen oli mennyt Madisonilta pitkä aika.
Hugh Hefnerin kuolemasta kuultuaan Holly Madison ei tuntenut vihaa eikä helpotusta. ”Koko suhde oli yhtä kodin leikkimistä. Kaikki kanssakäyminen oli niin teeskenneltyä. Kaikessa oli kyse siitä miten Hefner kontrolloi minua”, Madison kommentoi.
