Ao discutir a questão da realização da III Olimpíada, o Comitê Olímpico Internacional decidiu organizá-la no território dos Estados Unidos, já que este país apresentou bons resultados nos dois jogos anteriores. Inicialmente, eles queriam realizar as Olimpíadas em Chicago ou Nova York, mas, como resultado, a escolha recaiu sobre a pequena cidade portuária de St. Louis.
A III Olimpíada de St. Louis, junto com as Olimpíadas de Paris, foi realizada no âmbito da Exposição Mundial. No entanto, a direção local da Mostra não a considerou como concorrente, mas, pelo contrário, procurou de todas as formas utilizar os jogos para fins publicitários próprios. Além disso, os organizadores repetiram alguns dos erros dos Jogos Olímpicos de Verão de 1900 em Paris. Devido ao apego à Exposição Mundial, as competições foram deixadas de lado, e as Olimpíadas duraram quase 5 meses (1 de julho a 23 de novembro de 1904). Muitas competições foram realizadas sob a liderança de várias organizações profissionais, porém, apesar disso, todas foram agraciadas com o título de modalidades olímpicas.
De acordo com o COI, 12 países participaram dos Jogos de Verão de St. Louis. O único estado a participar da competição pela primeira vez foi a África do Sul. Em comparação com as Olimpíadas de Paris, o número de países participantes caiu drasticamente. Os 13 estados que participaram dos Jogos de Verão de Paris não puderam vir a St. Louis por razões econômicas. A Rússia, que naquela época estava em guerra com o Japão, não participou da competição.
Um total de 651 pessoas participaram das III Olimpíadas de Verão, incluindo 6 mulheres. Eles competiram por 94 conjuntos de prêmios em 18 esportes. O mais numeroso foi a seleção dos Estados Unidos da América, que representou 533 pessoas nos jogos. Em muitos esportes (boxe, luta livre, pólo aquático, arco e flecha e tênis), apenas atletas americanos se apresentavam, então os jogos demonstravam claramente a superioridade do país.
Em St. Louis, pela primeira vez, passaram a premiar os três, e não dois, atletas que apresentaram o melhor resultado. O principal vencedor da competição foi premiado com uma medalha de ouro; o atleta que ficou em segundo lugar - prata; e o terceiro lugar foi premiado com a medalha de bronze. Essa tradição sobreviveu até os dias atuais.
No evento não oficial por equipes, os países participantes se posicionaram da seguinte forma: I lugar - EUA (78 ouro, 82 prata, 78 medalhas de bronze), II lugar - Alemanha (4 ouro, 4 prata, 5 bronze), III lugar - Cuba (4 medalhas de ouro, 2 de prata, 3 de bronze).
