Oliver varttui suurperheessä 1970-luvun alussa pienellä maatilalla. Oliver kertoi, että aikaisempina vuosina nuorena aikuisena, kun hän oli poissa kotoa, hänellä oli alkoholiongelma, joka, kuten hän sanoi, johti valitettavasti siihen, että hänestä tuli alkoholiriippuvainen. Tämä johti lopulta siihen, että hänestä tuli alkoholisti. Hänen kasvava riippuvuutensa alkoholista ja sen käytöstä johti säännöllisiin masennus- ja ahdistuneisuusjaksoihin sekä huonoon fyysiseen terveyteen.