A OpenAI publicou uma nota de benchmark muito acompanhada, argumentando que o desempenho de um modelo em testes difíceis de agentes pode depender tanto do design do harness quanto do próprio modelo. Em uma publicação sobre o ARC-AGI-3, a empresa disse que ativar duas definições na sua Responses API — retained reasoning e compaction — elevou a pontuação do GPT-5.6 Sol no conjunto público de tarefas de 13,3% para 38,3%, enquanto também reduziu os tokens de saída em cerca de seis vezes.

O resultado importa para além de um único benchmark de quebra-cabeça. O ARC-AGI-3 foi projetado para testar se agentes de IA conseguem aprender jogos 2D desconhecidos por meio de interação, em vez de instrução explícita. A alegação da OpenAI é que a configuração padrão do benchmark estava suprimindo o desempenho ao descartar o raciocínio interno entre ações e ao aparar o contexto mais antigo à medida que as sessões cresciam. Para construtores e compradores de IA, isso transforma uma história de benchmark em uma história de implantação: a forma como um modelo é empacotado, recebe prompts e é autorizado a gerenciar memória pode mudar materialmente o que ele consegue fazer.

O que a OpenAI mudou na configuração do ARC-AGI-3

Segundo a OpenAI, a empresa inicialmente viu resultados surpreendentemente fracos do GPT-5.6 Sol no ARC-AGI-3. O modelo marcou 7,8% em um enquadramento anterior discutido pela empresa, e a OpenAI disse que o GPT-5.5 era ainda mais baixo. No conjunto público usando o harness oficial, a OpenAI agora relata o GPT-5.6 Sol em 13,3%.

A empresa diz que investigou por que um modelo que havia mostrado forte desempenho em outras tarefas parecidas com jogos parecia ineficaz aqui. Sua conclusão foi que o harness padrão do ARC-AGI-3 não preservava o raciocínio privado do modelo entre turnos e usava um esquema de truncamento em rolagem que removia gradualmente interações antigas da visão.

A implementação alternativa da OpenAI usou a Responses API de uma forma que, segundo ela, espelha como os modelos são implantados no ChatGPT e no Codex. A primeira definição, retained reasoning, mantém o raciocínio privado anterior disponível entre chamadas de ferramentas e turnos quando o ID da resposta anterior é passado adiante. A segunda, compaction, resume e comprime o histórico em vez de simplesmente descartar o contexto antigo quando os limites são atingidos.

Com essas duas mudanças ativadas, a OpenAI diz que o GPT-5.6 Sol alcançou 38,3% no conjunto público do ARC-AGI-3. A empresa também afirma que o uso de tokens de saída caiu 6x, atribuindo isso ao fato de o modelo gastar menos tempo rederivando o estado do jogo a cada movimento.

Por que o ARC-AGI-3 expôs um problema mais amplo de benchmark

O ARC-AGI-3 foi concebido para medir raciocínio adaptativo em ambientes desconhecidos. Os modelos recebem representações em texto de quadros do jogo e informações de nível, e então precisam inferir regras por tentativa e erro. A OpenAI observa que os mantenedores do benchmark escolheram um harness genérico de propósito, com o objetivo de tornar as fraquezas dos modelos mais fáceis de ver e as comparações entre sistemas mais justas.

Esse objetivo de design cria uma tensão hoje comum na avaliação de IA. Um harness genérico pode padronizar os testes, mas também pode divergir de como os principais fornecedores de modelos realmente treinam e servem seus sistemas. O argumento da OpenAI é que o ARC-AGI-3 estava efetivamente testando não apenas o modelo, mas um padrão de interação com memória limitada que difere do uso em produção no ChatGPT e no Codex.

Essa não é uma distinção trivial. Muitos agentes de IA atuais dependem de estado persistente, planejamento de longo prazo e gerenciamento de contexto para atuar de forma confiável. Se um benchmark remove essas capacidades de todos os participantes, ele pode melhorar a comparabilidade. Mas se uma família de modelos é explicitamente treinada para usar retained reasoning e contexto resumido, o benchmark pode subestimar como esse sistema se comporta em ferramentas reais.

Ao mesmo tempo, a publicação da OpenAI também ressalta o risco oposto: melhorias de benchmark alcançadas por escolhas de harness podem borrar a linha entre medir o modelo e medir a pilha de software ao redor. Para empresas que comparam modelos, isso significa que os números do leaderboard podem dizer menos do que o esperado, a menos que as condições de avaliação correspondam à implantação pretendida.

Evidências, ressalvas e o que é relatado pelo fornecedor

As afirmações mais fortes nesta história são relatadas pelo fornecedor. A OpenAI é a principal fonte do aumento da pontuação de 13,3% para 38,3%, da redução de 6x nos tokens de saída e da explicação de que retained reasoning e compaction causaram o ganho.

A OpenAI também diz que as pontuações do ARC-AGI-3 são medidas usando Relative Human Action Efficiency, ou RHAE, e cita registros oficiais de gameplay para estimar que o testador humano médio marcou 48%. Essa estimativa humana é apresentada pela OpenAI como estimativa e não como um novo resultado de benchmark.

A empresa ainda argumenta que, com seu harness, o GPT-5.6 Sol resolve todos os seis níveis de um jogo exibido no leaderboard, enquanto “nenhum modelo frontier” resolve qualquer nível além do primeiro no enquadramento padrão do leaderboard. Como o artigo é a própria análise da OpenAI sobre o benchmark e o harness, os leitores devem tratar essas comparações como alegações do fornecedor, a menos que sejam reproduzidas de forma independente.

Há outras limitações. O artigo não fornece uma replicação externa, uma reavaliação neutra em vários laboratórios ou uma comparação direta mostrando se mudanças semelhantes de preservação de memória também elevarem modelos rivais por quantidades comparáveis. Ele também não resolve a questão normativa do que o ARC-AGI-3 deveria medir: o comportamento bruto do modelo em uma interface genérica restrita, ou o desempenho em uma pilha de agentes otimizada pelo fornecedor.

Ainda assim, mesmo com essas ressalvas, o ponto de fundo é crível e cada vez mais importante. Definições de API, retenção de contexto, política de truncamento e orquestração de ferramentas podem todas mudar o comportamento de agentes de forma mensurável. A OpenAI é incomum aqui principalmente porque quantificou o efeito em uma nota pública de benchmark.

O que isso significa para construtores de IA e equipes corporativas

Para equipes de produto que constroem agentes de IA, a lição prática é que a arquitetura de memória não é mais um detalhe de implementação de back-office. Se um sistema perde repetidamente planos, observações ou hipóteses anteriores, o desempenho pode desabar em tarefas de múltiplas etapas, mesmo quando o modelo base é forte. A explicação da OpenAI sugere que o retained reasoning é especialmente importante quando as ações se desenrolam ao longo de sequências longas e o modelo precisa aprender com tentativas anteriores.

Para equipes que usam a Responses API, a OpenAI está, na prática, apresentando um argumento de produto: a empresa diz que essas definições não são ajustes exóticos, mas parte do padrão normal de operação por trás do ChatGPT e do Codex. Se isso for verdade, desenvolvedores que fazem benchmark de modelos em loops simplificados podem estar testando uma configuração que o fornecedor não considera representativa.

A alegação de eficiência de tokens pode ser tão importante quanto o ganho de pontuação. Uma redução de 6x nos tokens de saída, se reproduzível em outras cargas de trabalho de agentes, afetaria tanto latência quanto custo. Em implantações de IA empresarial, fluxos de trabalho longos muitas vezes falham não apenas pela qualidade do raciocínio, mas porque ficam lentos, caros ou frágeis à medida que o contexto cresce. Na versão da OpenAI, a compaction melhora continuidade e eficiência ao evitar a perda brusca do truncamento em rolagem.

A história também tem implicações para a prática de avaliação. Compradores que comparam sistemas para uso em IA empresarial devem perguntar aos fornecedores não apenas qual modelo foi testado, mas também qual harness, quais definições de memória, qual protocolo de ferramentas e qual política de contexto foram usados. Benchmarks que não especificam claramente essas camadas podem ser menos portáteis para decisões reais de aquisição do que parecem.

Competição e a política dos benchmarks por trás da publicação

A publicação da OpenAI chega em meio à crescente pressão sobre os laboratórios de modelos frontier para explicar não apenas como os modelos pontuam, mas por que pontuam daquela forma. Benchmarks cada vez mais moldam narrativas em torno da liderança dos modelos, mas muitos benchmarks de agentes dependem de wrappers e escolhas operacionais fora do modelo central.

Ao destacar retained reasoning e compaction, a OpenAI também assume uma posição mais ampla: a de que o desempenho moderno de IA deve ser avaliado como uma propriedade do sistema, e não apenas como uma propriedade dos pesos. Esse enquadramento favorece fornecedores com produtos fortemente integrados, como ChatGPT, Codex e stacks de serving proprietários, porque eles podem argumentar que o cliente compra comportamento de ponta a ponta, e não um modelo base abstrato.

Essa posição não será universalmente aceita. Alguns pesquisadores preferem benchmarks austeros justamente porque eles expõem fraquezas que o ajuste de produto pode mascarar. Outros argumentarão que, se os usuários implantam modelos com memória, resumos e loops de ferramentas, as avaliações devem refletir essa realidade. O debate do ARC-AGI-3 provavelmente será um de vários pontos de atrito em que essas filosofias colidem.

O que observar a seguir

O sinal de acompanhamento mais importante é a replicação independente. Se terceiros reproduzirem os ganhos da OpenAI no ARC-AGI-3 usando as mesmas definições da Responses API, o achado parecerá menos um post isolado de fornecedor e mais uma lição de metodologia de benchmark.

Um segundo sinal é se os mantenedores do ARC-AGI-3 respondem adicionando trilhas de harness alternativas, como uma base genérica e uma trilha de agente otimizada para produção. Isso preservaria comparações de igual para igual, ao mesmo tempo em que reconheceria que sistemas do mundo real dependem de gestão de memória.

Terceiro, vale observar se a OpenAI estende o mesmo argumento para outras avaliações. Se retained reasoning e compaction melhorarem materialmente outras tarefas de longo horizonte, as implicações para agentes de IA, produtos de assistente de programação e automação do trabalho podem ser mais amplas do que este único benchmark.

Por fim, equipes corporativas devem observar documentação mais clara dos fornecedores sobre tratamento de contexto. Se os provedores de modelos começarem a publicar receitas padrão de benchmark para ChatGPT, Codex, GPT-5.6 Sol e sistemas relacionados, pode se tornar mais fácil comparar o comportamento de IA empresarial de uma forma que corresponda à implantação.

Perspectiva da Creati.ai

A publicação da OpenAI é interessada, mas evidencia um problema real na avaliação de IA: as pontuações de benchmark muitas vezes são tratadas como se viessem apenas do modelo, quando na verdade refletem uma pilha de escolhas de design. Para quem constrói agentes de IA, a conclusão é direta. Retenção de memória, política de sumarização e estrutura de loop de ferramentas podem ser decisões de produto de primeira ordem, não enfeites de implementação.

A conclusão mais estratégica é para compradores de IA empresarial. Não faça aquisição com base em uma pontuação de modelo de manchete sem entender o harness por trás dela. Se a OpenAI estiver certa, um wrapper mal ajustado pode fazer um modelo capaz parecer fraco, e um bem ajustado pode desbloquear grandes ganhos em confiabilidade e custo. Isso desloca a vantagem competitiva para fornecedores e equipes que conseguem alinhar comportamento do modelo, infraestrutura de serving e design de aplicação em um sistema coerente.