Djokovič chcel ako prvý muž vyhrať v jednom roku všetky podujatia "veľkej štvorky" i OH. V histórii sa tento kúsok podaril jedine Nemke Steffi Grafovej v roku 1988. Z japonskej metropoly odchádza líder svetového rebríčka bez medaily, po dvoch semifinálových neúspechoch prehral v stretnutí o singlový bronz so Španielom Pablom Carrenom Bustom 4:6, 7:6 (6), 3:6. Na zápas o tretie miesto v mixe ani nenastúpil a s krajankou Ninou Stojanovičovou nezabojovali proti Austrálčanom Ashleigh Bartyovej a Johnovi Peersovi.
      
Medzinárodná tenisová federácia (ITF) ako dôvod odstúpenia uviedla zranenie ľavého ramena. Djokovič priznal, že olympijská anabáza v Tokiu si vyžiadala svoju daň, napriek tomu by sa rád predstavil v New Yorku. "Dúfam, že fyzické následky nespôsobia problém smerom k US Open. Momentálne si tým však nie som istý. Nič neľutujem, odovzdal som všetko, pretože to je potrebné, keď reprezentujete svoju krajinu," citovala Djokoviča agentúra AP.
      
S Carrenom Bustom prehral vo vyčerpávajúcej horúčave za 2 hodiny a 47 minút. Počas duelu privolal naspäť negatívne spomienky na vlaňajšie US Open, kde ho v zápase s týmto súperom diskvalifikovali za napálenie loptičky do čiarovej rozhodkyne. Najprv hodil raketu do prázdneho hľadiska a neskôr ju rozmlátil o tyčku na sieti: "Bol to výlev emócií, občas sa to stáva. Na kurte ste vo vypätí a v zápale boja. Nie je to prvý a asi ani posledný raz. Nie som na to hrdý, no je to súčasť mojej osobnosti. Nerobím to rád, mrzí ma, že vysielam takýto signál, ale všetci sme len ľudia a niekedy je ťažké kontrolovať sa."
      
Najlepším výsledkom Djokoviča pod piatimi kruhmi zostal bronz z Pekingu 2008. Vo veku 34 rokov však ešte nepomýšľa na ukončenie kariéry a o vytúžený titul sa chystá zabojovať aj o tri roky v Paríži: "Viem, že sa vrátim, aj v Paríži chcem reprezentovať moju krajinu v snahe získať medaily. Je mi ľúto, že som sklamal mnoho fanúšikov v Srbsku, ale taký je šport. Urobil som maximum, už som nemal veľa síl, všetky som nechal na dvorci."