OpenAI は、難しいエージェント系テストでのモデル性能は、モデルそのものと同じくらいハーネス設計に左右されうると主張する、注目度の高いベンチマークノートを公開した。ARC-AGI-3 に関する投稿で同社は、Responses API の 2 つの設定 — retained reasoning と compaction — を有効にすると、公開タスクセットにおける GPT-5.6 Sol のスコアが 13.3 % から 38.3 % に上がり、出力トークン数も約 6 分の 1 になったと述べた。

この結果は、単なるパズル系ベンチマークにとどまらない意味を持つ。ARC-AGI-3 は、AI エージェントが明示的な指示ではなく相互作用を通じて未知の 2D ゲームを学習できるかを試すよう設計されている。OpenAI の主張は、ベンチマークのデフォルト設定が、行動の間に内部推論を破棄し、セッションが長くなるにつれて古いコンテキストを削っていたために性能を抑えていた、というものだ。AI の開発者や購入者にとって、これはベンチマークの話がデプロイの話になることを意味する。モデルをどのように包み、どのようにプロンプトし、どのようにメモリ管理を許すかによって、実際にできることが大きく変わりうる。

OpenAI が ARC-AGI-3 の設定で変更したこと

OpenAI によると、同社は当初、ARC-AGI-3 で GPT-5.6 Sol が驚くほど低い結果しか出さないことを確認したという。会社が議論した以前の枠組みではこのモデルは 7.8 % しか取れず、OpenAI は GPT-5.5 はさらに低かったと述べた。公式ハーネスを使った公開セットでは、OpenAI は現在 GPT-5.6 Sol を 13.3 % と報告している。

同社は、他のゲーム風タスクでは高い性能を示していたモデルがなぜここでは無力に見えたのかを調査した。その結論は、デフォルトの ARC-AGI-3 ハーネスがモデルの私的な推論をターン間で保持せず、さらに古い対話を徐々に見えなくするローリング型の切り詰め方式を使っていた、というものだった。

OpenAI の代替実装は、同社によれば ChatGPT や Codex でのモデル運用を反映する形で Responses API を使った。1 つ目の設定 retained reasoning は、以前の response ID を引き継ぐことで、これまでの私的推論をツール呼び出しやターンをまたいで利用できるようにする。2 つ目の compaction は、上限に達したときに古いコンテキストを単純に捨てるのではなく、履歴を要約して圧縮する。

この 2 つを有効にすると、OpenAI は GPT-5.6 Sol が ARC-AGI-3 の公開セットで 38.3 % に達したと述べている。同社はまた、出力トークン使用量が 6 倍減ったとも述べており、これは各手でゲーム状態を再導出し直す時間が減ったためだと説明している。

ARC-AGI-3 がより広いベンチマーク問題を浮き彫りにした理由

ARC-AGI-3 は、未知の環境での適応的推論を測ることを意図している。モデルはゲーム画面やレベル情報のテキスト表現を受け取り、試行錯誤を通じてルールを推定しなければならない。OpenAI は、ベンチマークの保守側が一般的なハーネスを意図的に選んだのは、モデルの弱点を見えやすくし、システム間の比較を公平にするためだと指摘する。

この設計目標は、現在の AI 評価でよく見られる緊張を生む。一般的なハーネスはテストを標準化できる一方で、主要なモデル提供企業が実際にシステムを学習・提供する方法とは乖離する可能性がある。OpenAI の主張は、ARC-AGI-3 は実質的にモデルだけでなく、ChatGPT や Codex の本番利用とは異なる、メモリ制約のある相互作用パターンを試していたというものだ。

これは些細な違いではない。現在の多くのAI エージェントは、安定して動作するために永続状態、長期計画、コンテキスト管理に依存している。ベンチマークが参加者全員にその能力を取り除けば、比較可能性は高まるかもしれない。しかし、あるモデル系列が retained reasoning と要約済みコンテキストを使うよう明確に訓練されているなら、そのシステムが実際のツールでどう振る舞うかをベンチマークが過小評価する可能性がある。

同時に、OpenAI の投稿は逆のリスクも示している。ハーネスの選択によって得られたベンチマーク改善は、モデルを測っているのか周辺のソフトウェアスタックを測っているのかの境界を曖昧にしうる。企業がモデルを比較する際には、評価条件が想定するデプロイと一致しない限り、ランキングの数字は期待ほど多くを語らないかもしれない。

証拠、注意点、そしてベンダー報告であること

この話で最も強い主張は、ベンダー報告に基づくものだ。13.3 % から 38.3 % へのスコア上昇、出力トークン 6 倍削減、そして retained reasoning と compaction が増加の原因だという説明は、いずれも OpenAI が主な出典である。

OpenAI はまた、ARC-AGI-3 のスコアは Relative Human Action Efficiency（RHAE）で測定されると述べ、公式のプレイログを用いて平均的な人間テスターのスコアは 48 % だったと推定している。この人間の推定値は、新たなベンチマーク結果ではなく推定として OpenAI によって示されている。

同社はさらに、自社のハーネスでは GPT-5.6 Sol がリーダーボードに示されたゲームの 6 レベルすべてを解く一方、デフォルトのリーダーボード枠組みでは「フロンティアモデルはどれも」第 1 レベル以降を解けないと主張している。この記事は OpenAI 自身による benchmark と harness の分析であるため、読者はこれらの比較を、独立再現されない限りベンダーの主張として扱うべきだ。

ほかにも制約がある。この記事には、外部機関による再現、複数ラボをまたぐ中立的な再採点、あるいは同様のメモリ保持変更が競合モデルにも同程度の改善をもたらすかを示す直接比較はない。また、ARC-AGI-3 が何を測るべきかという規範的な問い、つまり制約された一般的インターフェースでの生のモデル挙動なのか、ベンダー最適化されたエージェントスタックでの性能なのか、には決着をつけていない。

それでも、こうした留保があってなお、根本のポイントは十分にもっともらしく、重要性を増している。API 設定、コンテキスト保持、切り詰めポリシー、ツールのオーケストレーションはいずれもエージェントの挙動を測定可能な形で変えうる。OpenAI がここで特異なのは、その効果を公開ベンチマークノートで定量化した点にある。

これが AI 開発者と企業チームに意味すること

AI エージェントを作るプロダクトチームにとっての実務的な教訓は、メモリアーキテクチャはもはや裏方の実装詳細ではないということだ。システムが計画、観測、以前の仮説を繰り返し失えば、基盤モデルが強力であっても、多段階タスクで性能は崩壊しうる。OpenAI の説明は、行動が長いシーケンスにわたって展開し、モデルが過去の試行から学ばなければならない場合、retained reasoning が特に重要だと示唆している。

Responses API を使うチームに対して、OpenAI は実質的に製品論を展開している。同社は、これらの設定は奇抜な調整ではなく、ChatGPT と Codex の背後にある通常の運用パターンの一部だと述べている。もしそれが本当なら、簡略化したループでモデルをベンチマークしている開発者は、提供側が代表的とは考えていない構成をテストしている可能性がある。

トークン効率の主張は、スコア向上と同じくらい重要かもしれない。出力トークンが 6 分の 1 になるなら、他のエージェント系ワークロードでも再現可能であれば、レイテンシとコストの両方に影響する。エンタープライズ AI の導入では、長時間ワークフローは推論品質だけで失敗するのではなく、コンテキストが増えるにつれて遅く、高価で、脆くなることでも失敗する。OpenAI の説明では、compaction はローリング切り詰めの大雑把な損失を避けることで、連続性と効率の両方を改善する。

この話は評価実務にも影響する。エンタープライズ AI でシステムを比較する購入者は、どのモデルがテストされたかだけでなく、どのハーネス、どのメモリ設定、どのツールプロトコル、どのコンテキストポリシーが使われたかをベンダーに尋ねるべきだ。これらの層が明確に示されていないベンチマークは、見た目ほど実際の調達判断に移し替えやすくないかもしれない。

投稿の背後にある競争とベンチマーク政治

OpenAI の投稿は、フロンティアモデル研究所に対し、単にスコアがどうかだけでなく、なぜそのスコアになるのかを説明する圧力が高まる中で出された。ベンチマークはモデルのリーダーシップをめぐる物語をますます形作っているが、多くのエージェント系ベンチマークは中核モデルの外側にあるラッパーや運用上の選択に依存している。

retained reasoning と compaction を強調することで、OpenAI はより広い立場も打ち出している。すなわち、現代の AI 性能は重みだけの属性ではなく、システム特性として評価されるべきだという立場だ。この枠組みは、ChatGPT、Codex、独自の serving スタックのように高度に統合された製品を持つベンダーに有利だ。なぜなら、顧客が買うのは抽象的な基盤モデルではなく、エンドツーエンドの振る舞いだと主張できるからだ。

この立場が普遍的に受け入れられるわけではない。ある研究者は、製品チューニングで隠されうる弱点を露わにするからこそ、あえて簡素なベンチマークを好む。別の人々は、ユーザーがメモリ、要約、ツールループを備えたモデルをデプロイするのなら、評価もその現実を反映すべきだと主張するだろう。ARC-AGI-3 の議論は、そうした哲学が衝突する複数の火種の一つになりそうだ。

次に注目すべき点

最も重要な追跡シグナルは、独立した再現だ。第三者が同じ Responses API 設定で OpenAI の ARC-AGI-3 の改善を再現できれば、この結果は単発のベンダーブログというより、ベンチマーク方法論の教訓に見えてくる。

2 つ目のシグナルは、ARC-AGI-3 の保守側が、一般的なベースラインと本番最適化されたエージェントトラックのような代替ハーネス経路を追加して応答するかどうかだ。そうすれば、実世界のシステムがメモリ管理に依存していることを認めつつ、リンゴ同士の比較を維持できる。

3 つ目として、OpenAI が同じ主張を他の評価にも広げるかを見守るべきだ。retained reasoning と compaction が他の長期タスクでも大きく効くなら、AI エージェント、コードアシスタント製品、職場自動化への示唆は、この一つのベンチマークより広いかもしれない。

最後に、企業チームはコンテキスト処理に関するベンダーの明確な文書化を注視すべきだ。モデル提供企業が ChatGPT、Codex、GPT-5.6 Sol、および関連システム向けの標準ベンチマーク手順を公開し始めれば、デプロイに即した形でエンタープライズ AI の振る舞いを比較しやすくなるかもしれない。

Creati.ai の視点

OpenAI の投稿は自社に都合のよいものだが、AI 評価における本当の問題を浮かび上がらせている。ベンチマークのスコアは、実際には一連の設計判断を反映しているのに、しばしばモデル単体の成果のように扱われているのだ。AI エージェントを作る人にとっての教訓は明快だ。メモリ保持、要約方針、ツールループの構造は、飾りではなく第一級の製品判断になりうる。

より戦略的な教訓は、エンタープライズ AI の買い手に向けたものだ。見出しのモデルスコアだけで調達してはいけない。その背後のハーネスを理解する必要がある。OpenAI が正しければ、合っていないラッパーは有能なモデルを弱く見せ、適切なラッパーは信頼性とコストの両面で大きな改善を引き出しうる。それは、モデル挙動、サービング基盤、アプリケーション設計を一貫したシステムとして揃えられるベンダーとチームへ競争優位を移すことになる。