OpenAI、Responses API の 2 つの設定で GPT-5.6 Sol の ARC-AGI-3 成績が大幅改善したと発表
OpenAI は、retained reasoning と compaction により GPT-5.6 Sol の ARC-AGI-3 スコアがほぼ 3 倍になったと述べ、ハーネス設計が AI ベンチマークを左右することを示した。
OpenAI は、retained reasoning と compaction により GPT-5.6 Sol の ARC-AGI-3 スコアがほぼ 3 倍になったと述べ、ハーネス設計が AI ベンチマークを左右することを示した。
NVIDIAは、LangChainで調整されたNemotron 3 Ultraがオープンモデルのエージェント向けベンチマークでトップクラスの結果を出し、企業向けAIにおける低コストなオープンスタックの有効性を示したと述べています。
Berkeley発のスタートアップArenaは、最も広く注目されているクラウドソース型AIモデルのリーダーボードの一つを支える企業として、商用評価プロダクトの提供開始から約8か月で、年換算の売上ランレートが1億ドルに達したとTechCrunchに語った。この節目は、AIのベンチマーク作成やポストトレーニングのフィードバックが、単なる研究活動ではなく、それ自体が事業になりつつあることを示している。ただし同社によれば、その売上は契約ベースの経常ARRではなく、利用量に応じた課金によるものだという。
AI性能に関する最新ニュースと分析