Berger je rođen u Bad Išlu u Austriji 29. maja 1944. godine. Radio je kao statista u Rimu pre nego što ga je otkrio Viskonti, i kasnije postao njegov partner. Viskonti mu je dao prvu ulogu 1966. godine.

Berger je imao istaknute uloge u Viskontijevim filmovima "Sumrak bogova", "Ludvig", "Zatvoreni porodični krug", kao i u filmovima Vitorija de Sike "Vrt Finci-Kontinijevih", Masima Dalamana "Dorijan Grej" i kasnije u "Kumu III" Fransisa Forda Kopole.

Pošto je oboleo, Berger je u novembru 2019. godine objavio kraj glumačke karijere.