1976 m. Olimpines žaidynes pakirto boikotas ir įtarimai dėl narkotikų. Prieš olimpines žaidynes Naujosios Zelandijos regbio komanda gastroliavo Pietų Afrikoje (vis dar įamžinta apartheidas) ir žaidė prieš juos. Dėl šios priežasties didžioji likusios Afrikos dalies dalis IOC grasino uždrausti Naujoji Zelandija dalyvauti olimpinėse žaidynėse arba boikotuoti žaidynes. Kadangi TOK nekontroliavo regbio žaidimo, TOK mėgino įtikinti afrikiečius nenaudoti olimpinių žaidynių kaip keršto. Pabaigoje 26 Afrikos šalys boikotavo žaidynes. Taivanas taip pat nebuvo įtrauktas į žaidynes, kai Kanada nepripažins jų kaip Kinijos Respublikos.
Šiose olimpinėse žaidynėse siautėjo įtarimai dėl narkotikų. Nors dauguma įtarimų nebuvo įrodyti, daugelis atletų, ypač Rytų Vokietijos moterų plaukikės, buvo apkaltintos anabolinių steroidų vartojimu. Kai Shirley Babashoff (JAV) apkaltino savo konkurentus vartojant anabolinius steroidus dėl jų didelių raumenys ir gilūs balsai, Rytų Vokietijos komandos pareigūnas atsakė: „Jie atėjo maudytis, o ne dainuoti."
Žaidynės taip pat buvo finansinė Kvebeko katastrofa. Nuo to laiko, kai Kvebekas statė, statė ir statė žaidynėms, jie išleido milžinišką 2 milijardų dolerių sumą, todėl jie daugelį dešimtmečių buvo skolingi. Pozityviau, kad šiose olimpinėse žaidynėse pasirodė Rumunijos gimnastė Nadia Comaneci, kuri iškovojo tris aukso medalius. Dalyvavo apie 6000 sportininkų, atstovaujančių 88 šalims.