OpenAI hat eine viel beachtete Benchmark-Notiz veröffentlicht, in der das Unternehmen argumentiert, dass die Leistung eines Modells bei schwierigen Agenten-Tests ebenso stark vom Harness-Design wie vom Modell selbst abhängen kann. In einem Beitrag zu ARC-AGI-3 sagte das Unternehmen, dass das Aktivieren von zwei Einstellungen in seiner Responses API – retained reasoning und compaction – den Score von GPT-5.6 Sol auf dem öffentlichen Aufgabensatz von 13,3 % auf 38,3 % hob und zugleich die Ausgabe-Token um etwa das Sechsfache reduzierte.

Das Ergebnis ist über einen einzelnen Puzzle-Benchmark hinaus relevant. ARC-AGI-3 soll testen, ob KI-Agenten unbekannte 2D-Spiele durch Interaktion statt durch explizite Anweisungen lernen können. OpenAIs Behauptung ist, dass die Standardkonfiguration des Benchmarks die Leistung unterdrückt habe, indem sie internes Reasoning zwischen Aktionen verwarf und älteren Kontext mit zunehmender Sitzungsdauer abschnitt. Für Entwickler und Käufer von KI wird daraus eine Deployment-Frage: Die Art, wie ein Modell verpackt, gepromptet und mit Speicherverwaltung ausgestattet wird, kann messbar verändern, wozu es fähig ist.

Was OpenAI am ARC-AGI-3-Setup geändert hat

Laut OpenAI sah das Unternehmen zunächst überraschend schwache Ergebnisse von GPT-5.6 Sol auf ARC-AGI-3. In einer früheren, vom Unternehmen diskutierten Darstellung erzielte das Modell 7,8 %, und OpenAI sagte, GPT-5.5 sei sogar noch niedriger gewesen. Auf dem öffentlichen Set mit dem offiziellen Harness berichtet OpenAI nun für GPT-5.6 Sol 13,3 %.

Das Unternehmen sagt, es habe untersucht, warum ein Modell, das bei anderen spielähnlichen Aufgaben starke Leistungen gezeigt hatte, hier ineffektiv wirkte. Das Ergebnis sei gewesen, dass das standardmäßige ARC-AGI-3-Harness das private Reasoning des Modells nicht über Züge hinweg bewahrte und ein gleitendes Abschneideschema verwendete, das ältere Interaktionen mit der Zeit aus dem Blick entfernte.

OpenAIs alternative Implementierung nutzte die Responses API in einer Weise, die nach Unternehmensangaben der Bereitstellung von Modellen in ChatGPT und Codex entspricht. Die erste Einstellung, retained reasoning, hält früheres privates Reasoning über Tool-Aufrufe und Turns hinweg verfügbar, wenn die vorherige Response-ID weitergegeben wird. Die zweite, compaction, fasst den Verlauf zusammen und komprimiert ihn, statt älteren Kontext bei Erreichen von Limits einfach zu verwerfen.

Mit diesen beiden aktivierten Änderungen erreichte GPT-5.6 Sol nach Angaben von OpenAI 38,3 % auf dem öffentlichen ARC-AGI-3-Set. Das Unternehmen sagt außerdem, dass der Einsatz von Ausgabe-Token um den Faktor 6 sank, was es darauf zurückführt, dass das Modell weniger Zeit darauf verwendete, den Spielzustand bei jedem Zug neu abzuleiten.

Warum ARC-AGI-3 ein breiteres Benchmark-Problem sichtbar machte

ARC-AGI-3 soll adaptive Schlussfolgerung in unbekannten Umgebungen messen. Modelle erhalten Textdarstellungen von Spielbildern und Level-Informationen und müssen dann durch Versuch und Irrtum Regeln ableiten. OpenAI weist darauf hin, dass die Maintainer des Benchmarks absichtlich ein generisches Harness gewählt haben, um Schwächen von Modellen leichter sichtbar zu machen und Vergleiche zwischen Systemen fairer zu gestalten.

Dieses Designziel erzeugt eine mittlerweile in der KI-Bewertung häufige Spannung. Ein generisches Harness kann Tests standardisieren, aber es kann auch davon abweichen, wie führende Modellanbieter ihre Systeme tatsächlich trainieren und bereitstellen. OpenAIs Argument lautet, dass ARC-AGI-3 im Effekt nicht nur das Modell getestet habe, sondern ein speicherbeschränktes Interaktionsmuster, das sich von der Produktion in ChatGPT und Codex unterscheidet.

Das ist keine triviale Unterscheidung. Viele heutige KI-Agenten sind für zuverlässige Leistung auf persistenten Zustand, langfristige Planung und Kontextmanagement angewiesen. Wenn ein Benchmark diese Fähigkeiten für alle Teilnehmer entfernt, kann das die Vergleichbarkeit verbessern. Wenn jedoch eine Modellfamilie ausdrücklich darauf trainiert ist, retained reasoning und zusammengefassten Kontext zu nutzen, kann der Benchmark unterschätzen, wie sich dieses System in realen Tools verhält.

Gleichzeitig unterstreicht OpenAIs Beitrag auch das gegenteilige Risiko: Benchmark-Verbesserungen, die durch Harness-Entscheidungen erzielt werden, können die Grenze zwischen der Messung des Modells und der Messung des umgebenden Software-Stacks verwischen. Für Unternehmen, die Modelle vergleichen, bedeutet das, dass Leaderboard-Zahlen weniger aussagekräftig sein können als erwartet, sofern die Evaluationsbedingungen nicht zum vorgesehenen Deployment passen.

Belege, Vorbehalte und was vom Anbieter berichtet wird

Die stärksten Aussagen in dieser Geschichte stammen vom Anbieter selbst. OpenAI ist die primäre Quelle für die Score-Steigerung von 13,3 % auf 38,3 %, die Reduktion der Ausgabe-Token um das 6-Fache und die Erklärung, dass retained reasoning und compaction den Gewinn verursacht hätten.

OpenAI sagt außerdem, dass ARC-AGI-3-Scores mithilfe von Relative Human Action Efficiency, kurz RHAE, gemessen werden, und verweist auf offizielle Gameplay-Logs, um zu schätzen, dass der durchschnittliche menschliche Tester 48 % erreichte. Diese menschliche Schätzung wird von OpenAI als Schätzung und nicht als frisches Benchmark-Ergebnis dargestellt.

Das Unternehmen argumentiert ferner, dass GPT-5.6 Sol mit seinem Harness alle sechs Level in einem auf dem Leaderboard gezeigten Spiel löst, während „kein Frontier-Modell“ im standardmäßigen Leaderboard-Rahmen über das erste Level hinaus irgendein Level löst. Da der Artikel die eigene Analyse von OpenAI zu Benchmark und Harness ist, sollten Leser diese Vergleichsaussagen als Behauptungen des Anbieters behandeln, sofern sie nicht unabhängig reproduziert werden.

Es gibt weitere Einschränkungen. Der Artikel liefert keine externe Replikation, keine neutrale Neuberechnung über mehrere Labore hinweg und keinen direkten Vergleich, der zeigt, ob ähnliche speichererhaltende Änderungen auch Rivalenmodelle in vergleichbarem Ausmaß anheben würden. Er entscheidet auch nicht die normative Frage, was ARC-AGI-3 messen sollte: das rohe Modellverhalten in einer eingeschränkten generischen Oberfläche oder die Leistung in einem vom Anbieter optimierten Agenten-Stack.

Trotz dieser Vorbehalte ist der zugrunde liegende Punkt glaubwürdig und zunehmend wichtig. API-Einstellungen, Kontextbeibehaltung, Abschneidepolitik und Tool-Orchestrierung können das Verhalten von Agenten jeweils messbar verändern. OpenAI ist hier vor allem deshalb ungewöhnlich, weil das Unternehmen den Effekt in einer öffentlichen Benchmark-Notiz quantifiziert hat.

Was das für KI-Entwickler und Enterprise-Teams bedeutet

Für Produktteams, die KI-Agenten bauen, lautet die praktische Lehre, dass Speicherarchitektur kein bloßes Implementierungsdetail im Hintergrund mehr ist. Wenn ein System Pläne, Beobachtungen oder frühere Hypothesen wiederholt verliert, kann die Leistung bei mehrstufigen Aufgaben zusammenbrechen, selbst wenn das Basismodell stark ist. OpenAIs Darstellung legt nahe, dass retained reasoning besonders wichtig ist, wenn sich Handlungen über lange Sequenzen entfalten und das Modell aus früheren Versuchen lernen muss.

Für Teams, die die Responses API nutzen, formuliert OpenAI faktisch ein Produktargument: Das Unternehmen sagt, diese Einstellungen seien keine exotischen Tuning-Tricks, sondern Teil des normalen Betriebsmodus hinter ChatGPT und Codex. Falls das stimmt, testen Entwickler, die Modelle in vereinfachten Schleifen benchmarken, möglicherweise eine Konfiguration, die der Anbieter nicht als repräsentativ betrachtet.

Die Behauptung zur Token-Effizienz könnte ebenso wichtig sein wie der Score-Gewinn. Eine 6-fache Reduktion der Ausgabe-Token würde, wenn sie in anderen Agenten-Workloads reproduzierbar wäre, sowohl Latenz als auch Kosten beeinflussen. In Enterprise-KI-Einsätzen scheitern langlaufende Workflows oft nicht nur an der Qualität des Reasonings, sondern daran, dass sie mit wachsendem Kontext langsam, teuer oder fragil werden. In OpenAIs Darstellung verbessert Compaction sowohl die Kontinuität als auch die Effizienz, indem sie die harte Verlusterfahrung des gleitenden Abschneidens vermeidet.

Die Geschichte hat auch Folgen für Evaluationspraxis. Käufer, die Systeme für den Einsatz in Enterprise-KI vergleichen, sollten Anbieter nicht nur fragen, welches Modell getestet wurde, sondern auch, welches Harness, welche Speichereinstellungen, welches Tool-Protokoll und welche Kontextpolitik verwendet wurden. Benchmarks, die diese Ebenen nicht klar angeben, könnten für echte Beschaffungsentscheidungen weniger übertragbar sein, als sie erscheinen.

Wettbewerb und die Benchmark-Politik hinter dem Beitrag

OpenAIs Beitrag erscheint inmitten wachsender Erwartung an Frontier-Modelllabore, nicht nur zu erklären, wie Modelle abschneiden, sondern auch, warum sie so abschneiden. Benchmarks prägen zunehmend Narrative rund um die Führungsposition von Modellen, doch viele Agenten-Benchmarks hängen von Wrappern und operativen Entscheidungen außerhalb des Kernmodells ab.

Indem OpenAI retained reasoning und compaction hervorhebt, bezogen die Verantwortlichen auch eine breitere Position: dass moderne KI-Leistung als Systemeigenschaft und nicht nur als Eigenschaft der Gewichte bewertet werden sollte. Dieses Framing begünstigt Anbieter mit eng integrierten Produkten wie ChatGPT, Codex und proprietären Serving-Stacks, weil sie argumentieren können, dass der Kunde ein End-to-End-Verhalten kauft und nicht ein abstraktes Basismodell.

Diese Position wird nicht allgemein akzeptiert werden. Einige Forschende bevorzugen absichtlich nüchterne Benchmarks, weil sie Schwächen offenlegen, die durch Produkttuning verdeckt werden könnten. Andere werden argumentieren, dass Bewertungen die Realität widerspiegeln sollten, wenn Nutzer Modelle mit Speicher, Zusammenfassungen und Tool-Loops einsetzen. Die ARC-AGI-3-Debatte dürfte eine von mehreren Reibungsflächen sein, auf denen diese Philosophien aufeinandertreffen.

Worauf man als Nächstes achten sollte

Das wichtigste Folgezeichen ist eine unabhängige Replikation. Wenn Dritte OpenAIs ARC-AGI-3-Gewinne mit denselben Responses-API-Einstellungen reproduzieren, wird der Befund weniger wie ein einmaliger Anbieter-Blog und mehr wie eine Lehre zur Benchmark-Methodik aussehen.

Ein zweites Signal ist, ob die Maintainer von ARC-AGI-3 mit alternativen Harness-Pfaden reagieren, etwa einem generischen Baseline-Pfad und einem produktionsoptimierten Agenten-Pfad. Das würde Vergleiche nach dem Äpfel-mit-Äpfeln-Prinzip erhalten und zugleich anerkennen, dass reale Systeme auf Speicherverwaltung angewiesen sind.

Drittens sollte man beobachten, ob OpenAI dieselbe Argumentation auf andere Evaluierungen ausweitet. Wenn retained reasoning und compaction weitere Langfristaufgaben erheblich verbessern, könnten die Auswirkungen auf KI-Agenten, Coding-Assistant-Produkte und Arbeitsplatzautomatisierung breiter sein als dieser eine Benchmark.

Schließlich sollten Enterprise-Teams auf klarere Dokumentation der Anbieter zum Umgang mit Kontext achten. Wenn Modellanbieter Standard-Rezepte für Benchmarks von ChatGPT, Codex, GPT-5.6 Sol und verwandten Systemen veröffentlichen, könnte es leichter werden, Enterprise-KI-Verhalten auf eine Weise zu vergleichen, die zur realen Bereitstellung passt.

Creati.ai-Perspektive

OpenAIs Beitrag ist interessengeleitet, hebt aber ein echtes Problem der KI-Bewertung hervor: Benchmark-Scores werden oft so behandelt, als kämen sie allein vom Modell, obwohl sie tatsächlich ein Bündel von Designentscheidungen widerspiegeln. Für alle, die KI-Agenten bauen, ist die Schlussfolgerung klar. Speicherbeibehaltung, Zusammenfassungsrichtlinien und Tool-Loop-Struktur können Entscheidungen ersten Ranges sein, nicht bloß schmückendes Implementierungszubehör.

Die strategischere Schlussfolgerung gilt Käufern von Enterprise-KI. Beschaffen Sie nicht anhand eines Schlagzeilen-Model-Scores, ohne das dahinterliegende Harness zu verstehen. Wenn OpenAI recht hat, kann ein schlecht passender Wrapper ein fähiges Modell schwach aussehen lassen, während ein gut passender große Gewinne bei Zuverlässigkeit und Kosten freischalten kann. Das verschiebt den Wettbewerbsvorteil zu Anbietern und Teams, die Modellverhalten, Serving-Infrastruktur und Anwendungsdesign zu einem kohärenten System ausrichten können.