Būdamas 39 metų, Joe Clarkas tapo jauniausiu Kanados ministru pirmininku 1979 m. Fiskalinis konservatorius Joe Clarkas ir jo mažumos vyriausybė buvo nugalėti vos po devynių mėnesių valdžios dėl nepasitikėjimo biudžetu dėl mokesčių padidinimo ir programų mažinimo biudžeto.
Pralaimėjęs 1980 m. Rinkimus, Joe Clarkas liko opozicijos lyderiu. Kai Brianas Mulroney 1983 m. Perėmė Kanados progresyviosios konservatorių partijos lyderio postą, o vėliau - premjerą 1984 m. Ministras Joe Clarkas tęsė veiksmingą išorės santykių ministrą ir konstitucijos ministrą Reikalai. Joe Clarkas 1993 m. Pasitraukė iš politikos dirbti tarptautinio verslo konsultantu, tačiau 1998–2003 m. Grįžo kaip Progresyviosios konservatorių partijos lyderis.
Joe Clarkas pradėjo savo politinę karjerą kaip Alberta progresyviosios konservatorių partijos organizacijos direktorius nuo 1966 iki 1967 m. 1967 m. Jis buvo specialusis konservatorių parlamento nario Davie'o Fultono padėjėjas. 1967– 1970 m. Jis dirbo konservatorių parlamento nario Roberto Stanfieldo vykdomuoju padėjėju.
Joe Clarkas pirmą kartą buvo išrinktas į Bendruomenių rūmus 1972 m. Jis buvo išrinktas Kanados progresyviosios konservatorių partijos lyderiu 1976 m. Ir buvo opozicijos lyderis iki 1979 m. Joe Clarkas buvo prisaikdintas kaip Kanados ministras pirmininkas po 1979 m. Visuotinių rinkimų.
Konservatorių vyriausybė buvo nugalėta 1980 m. Joe Clarkas vėl buvo opozicijos lyderis nuo 1890 iki 1983 m. Joe Clarkas pavadino progresyviosios konservatorių partijos lyderystės konvenciją ir 1983 m. Partijos vadovybę prarado Brianui Mulroney.
Mulroney vyriausybėje Joe Clarkas dirbo užsienio reikalų ministru 1984–1991 m. 1991–1993 m. Jis buvo Privilegijų tarybos pirmininkas ir ministras, atsakingas už konstitucinius reikalus. Joe Clarkas nedalyvavo 1993 m. Visuotiniuose rinkimuose.
Joe Clarkas 1998 m. Grįžo į Kanados progresyviosios konservatorių partijos lyderį. 2000 m. Jis buvo perrinktas į Bendruomenių rūmus. 2002 m. Joe Clarkas pareiškė, kad, kiek gali, vedė Pažangiąją konservatorių partiją. Joe Clarko atsistatydinimas iš progresyviosios konservatorių partijos lyderio įsigaliojo 2003 m. Gegužės mėn. Vykusiame vadovavimo suvažiavime.