Uma discrepância entre os resultados de benchmarks de primeira e terceira parte para o modelo de IA o3 da OpenAI gerou questionamentos sobre a transparência da empresa e suas práticas de avaliação de modelos. Quando a OpenAI lançou o o3 em dezembro, afirmou que o modelo poderia responder corretamente pouco mais de um quarto das questões do FrontierMath, um conjunto desafiador de problemas matemáticos. Essa pontuação superou em muito os concorrentes — o próximo melhor modelo respondeu corretamente cerca de 2% dos problemas do FrontierMath. “Hoje, todas as ofertas disponíveis têm menos de 2% [no FrontierMath]”, declarou o diretor de pesquisa da OpenAI, Mark Chen, durante uma transmissão ao vivo. “Nós estamos vendo [internamente], com o o3 em configurações agressivas de tempo de computação de teste, conseguimos mais de 25%. ” No entanto, esse número provavelmente representava um limite superior, alcançado por uma versão do o3 com suporte de mais poder de computação do que o modelo que a OpenAI divulgou publicamente na semana passada. A Epoch AI, instituto de pesquisa responsável pelo FrontierMath, publicou na sexta-feira resultados independentes de benchmark para o3. Eles descobriram que o o3 obteve cerca de 10%, bem abaixo do número máximo declarado pela OpenAI. Isso não necessariamente implica em engano por parte da OpenAI. Os resultados de benchmark publicados pela OpenAI em dezembro indicaram um resultado mínimo consistente com as descobertas da Epoch.

A Epoch também observou diferenças nas configurações de teste e no uso de uma versão mais recente do FrontierMath para as avaliações. “Diferenças entre nossos resultados e os da OpenAI podem ser devido à avaliação pela OpenAI com uma estrutura interna mais poderosa, usando mais computação durante os testes, ou porque esses resultados foram obtidos com um subconjunto diferente do FrontierMath (os 180 problemas do frontiermath-2024-11-26 versus os 290 problemas do frontiermath-2025-02-28-private)”, explicou a Epoch. Segundo uma publicação na X pela Fundação ARC Prize, que testou uma versão pré-lançamento do o3, o modelo público do o3 “é um modelo diferente [. . . ] ajustado para uso em chat/produto, ” alinhando-se às observações da Epoch. “Todos os tiers de computação do o3 que foram liberados são menores do que a versão que [nós] avaliamos”, acrescentou a ARC Prize. Geralmente, tiers maiores de computação tendem a produzir melhores resultados em benchmarks. Wenda Zhou, membro da equipe técnica da OpenAI, comentou durante uma transmissão ao vivo na semana passada que a versão de produção do o3 é “mais otimizada para casos de uso do mundo real” e mais rápida em comparação com a versão demonstrativa de dezembro, o que pode causar “disparidades” nos resultados dos benchmarks. “[Fizemos] otimizações para tornar o [modelo] mais eficiente em termos de custo [e] mais útil de forma geral, ” disse Zhou. “Ainda esperamos — acreditamos — que essa é uma versão muito melhor [. . . ] Você não precisará esperar tanto ao pedir uma resposta, o que é uma vantagem real com esses [tipos de] modelos. ” Dito isso, o fato de o o3 divulgado publicamente ficar aquém das alegações iniciais de testes da OpenAI é um pouco irrelevante, já que os modelos o3-mini-high e o4-mini superam o o3 no FrontierMath, e a empresa planeja lançar em breve uma variante mais poderosa, o3-pro. Ainda assim, esse episódio reforça que os resultados de benchmarks de IA devem ser analisados com cautela — especialmente quando fornecidos por empresas que promovem seus próprios serviços. Controvérsias envolvendo benchmarking têm se tornado cada vez mais comuns na área de IA, à medida que fornecedores competem por destaque na mídia e atenção dos usuários com novos modelos. Em janeiro, a Epoch foi alvo de críticas por atrasar a divulgação de financiamentos da OpenAI até após o anúncio do o3. Muitos colaboradores acadêmicos do FrontierMath desconheciam o envolvimento da OpenAI até que esse fato foi tornada público. Mais recentemente, a xAI de Elon Musk foi acusada de publicar gráficos de benchmark enganosos para seu modelo de IA Grok 3. Além disso, a Meta admitiu no início deste mês que promoveu pontuações de benchmark de uma versão do modelo diferente daquela disponibilizada aos desenvolvedores. Atualizado às 16h21, horário do Pacífico: Comentários do membro da equipe técnica da OpenAI, Wenda Zhou, adicionados à transmissão ao vivo da semana passada.