Ženy se objevily až o čtyři roky později v Paříži, kde soutěžily v golfu a tenisu a počet sportovních odvětví stoupl na čtyřiadvacet.
V americkém St. Louisu v roce 1904 se poprvé bojovalo o olympijské medaile v boxu. Ten od té doby chyběl jen jednou, v roce 1912 ve Stockholmu, protože ve Švédsku byl tehdy zakázán.
Fotbal se objevil na Hrách IV. olympiády 1908 v Londýně. Předtím se ve Francii i v USA uskutečnila jen neoficiální utkání. Na pořad se dostalo také krasobruslení, protože zimní olympiáda se konala poprvé v roce 1924 v Chamonix, a na přání organizátorů také řada odvětví, například lakros nebo pólo na koních, která se v programu trvale neudržela. Počet účastníků výrazně stoupl - na 2500 proti zhruba 680 v St. Louis.
Určitým mezníkem byly páté olympijské hry konané roku 1912 ve Stockholmu. Staly se po organizační stránce na dlouhu vzorem, výrazně se prezentovala hostitelská země a vládní finanční garance se poté staly pravidlem. Zařazen byl moderní pětiboj a nechyběly ani umělecké soutěže; v literatuře zvítězil Pierre de Coubertin - pod pseudonymem - svojí Ódou na sport.
V době před první světovou válkou, která zabránila konání šestých OH v Berlíně, se olympijským programem mihly rovněž kriket, závody motorových člunů nebo ragby. Na sedmých hrách v Antverpách roku 1920 se sportovci naposledy utkali v přetahování lanem a hodu břemenem.
Mezinárodní olympijský výbor (MOV) v roce 1924 rozhodl, že do budoucna smějí pořadatelé zařadit do programu her pouze sporty, jejichž federace sám uznává a jsou tedy v souladu s olympijskou chartou.
Antická představa o atletice jako sportu mužů vzala za své v Amsterodamu 1928 a počet žen na tři sta padesát.
Na hrách v Berlíně v roce 1936, ovlivněných nástupem nacismu, se mezi pravidelné olympijské sporty zařadily mimo jiné basketbal a kanoistika. Následující válečný konflikt znamenal dvanáctiletou pauzu a další, XIV. olympijské hzry se konaly v Londýně v roce 1948. Zde vzala definitivně za své Coubertinova idea spojit umění se sportem: umělecké soutěže se tu uskutečnily naposled.
V roce 1952 v Helsinkách závodilo poprvé přes pět tisíc startujících a MOV si uvědomil, že počet sportovců na hrách, vzrůstající téměř geometrickou řadou, je neúnosný. Zavedl proto výkonnostní limity a předolympijské kvalifikace. Hry XVI. olympiády roku 1956 se poprvé uskutečnily na jižní polokouli, v Melbourne. Kuriozitou bylo, že dějištěm jezdeckých soutěží se stal Stockholm, protože australská vláda nezkrátila předepsanou šestiměsíční karanténu přivážených zvířat.
Japonské Tokio pořádalo jako první asijská země Hry XVIII. olympiády v roce 1964, premiérově byly do programu zařazeny volejbal a judo. Házená a lukostřelba se zařadily mezi tradiční olympijské sporty v Mnichově 1972. Při konání OH 1984 v Los Angeles se v programu objevilo synchronizované plavání a windsurfing, v Soulu 1988 oslavily návrat tenis (po 64 letech) a stolní tenis.
Na hrách v Barceloně 1992 přesáhl počet účastníků desetitisícovou hranici. Rodina olympijských sportů se rozrostla o badminton a baseball, v Atlantě 1996 pak o softbal a módní disciplíny zavedených sportů - plážový volejbal a horská kola.
Proti Atlantě se na nadcházejících hrách v Sydney zvýší počet sad medailí z dvou set jedna sedmesáti na rovných tři sta. Přibudou totiž nejen dvě nová odvětví, taekwon-do a triatlon, ale také některé nové disciplíny a ženské části soutěží například ve vodním pólu, moderním pětiboji a vzpírání.
V Sydney opět vzroste počet žen, celkový počet sportovců se však zásluhou redukce v mužské části sníží proti posledním hrám na plánovaných 10.321.
