OpenAI가 주목받고 있는 벤치마크 노트를 공개하며, 어려운 에이전트 테스트에서의 모델 성능은 모델 자체만큼이나 하네스 설계에 달려 있을 수 있다고 주장했다. ARC-AGI-3에 대한 게시물에서 회사는 Responses API의 두 설정인 retained reasoning과 compaction을 활성화하자 공개 과제 세트에서 GPT-5.6 Sol의 점수가 13.3%에서 38.3%로 올라갔고, 출력 토큰은 약 6분의 1로 줄었다고 밝혔다.

이 결과는 단일 퍼즐 벤치마크를 넘어서는 의미를 가진다. ARC-AGI-3는 AI 에이전트가 명시적 지시가 아니라 상호작용을 통해 익숙하지 않은 2D 게임을 학습할 수 있는지를 테스트하도록 설계됐다. OpenAI의 주장은 이 벤치마크의 기본 설정이 행동 사이에서 내부 추론을 버리고, 세션이 길어질수록 오래된 컨텍스트를 잘라내 성능을 억눌렀다는 것이다. AI 빌더와 구매자에게 이는 벤치마크 이야기를 배포 이야기로 바꾼다. 모델을 어떻게 감싸고, 어떤 프롬프트를 주고, 메모리를 어떻게 관리하게 하느냐에 따라 실제로 할 수 있는 일이 크게 달라질 수 있다.

OpenAI가 ARC-AGI-3 설정에서 바꾼 것

OpenAI에 따르면, 회사는 처음에 ARC-AGI-3에서 GPT-5.6 Sol의 결과가 놀라울 정도로 약하다는 점을 발견했다. 회사가 논의한 이전 프레이밍에서 이 모델은 7.8%를 기록했고, OpenAI는 GPT-5.5는 그보다 더 낮았다고 말했다. 공식 하네스를 사용한 공개 세트에서는 OpenAI가 이제 GPT-5.6 Sol을 13.3%로 보고하고 있다.

회사는 다른 게임형 작업에서는 강한 성능을 보였던 모델이 왜 여기서는 무력해 보였는지 조사했다고 말한다. 결론은 기본 ARC-AGI-3 하네스가 모델의 사적 추론을 턴 간에 보존하지 않았고, 오래된 상호작용을 점차 시야에서 제거하는 롤링 트렁케이션 방식을 사용했다는 것이었다.

OpenAI의 대안 구현은 Responses API를 ChatGPT와 Codex에서 모델이 배포되는 방식과 유사하게 사용했다. 첫 번째 설정인 retained reasoning은 이전 response ID를 전달하면 이전의 사적 추론을 도구 호출과 턴 전반에 걸쳐 유지한다. 두 번째인 compaction은 한도에 도달했을 때 오래된 컨텍스트를 단순히 버리는 대신 기록을 요약하고 압축한다.

이 두 가지를 켠 상태에서 OpenAI는 GPT-5.6 Sol이 ARC-AGI-3 공개 세트에서 38.3%에 도달했다고 밝혔다. 또한 출력 토큰 사용량이 6배 감소했다고 말했으며, 이는 모델이 매 이동마다 게임 상태를 다시 유도하는 데 덜 시간을 썼기 때문이라고 설명했다.

ARC-AGI-3가 더 넓은 벤치마크 문제를 드러낸 이유

ARC-AGI-3는 낯선 환경에서의 적응적 추론을 측정하기 위한 것이다. 모델은 게임 화면과 레벨 정보를 텍스트로 표현한 것을 받고, 시행착오를 통해 규칙을 추론해야 한다. OpenAI는 벤치마크 유지보수 측이 모델의 약점을 더 잘 드러내고 시스템 간 비교를 더 공정하게 만들기 위해 의도적으로 범용 하네스를 선택했다고 설명한다.

이 설계 목표는 현재 AI 평가에서 흔한 긴장을 만든다. 범용 하네스는 테스트를 표준화할 수 있지만, 선도적인 모델 제공업체가 실제로 시스템을 훈련하고 서비스하는 방식과 어긋날 수도 있다. OpenAI의 주장은 ARC-AGI-3가 사실상 모델만이 아니라, ChatGPT와 Codex의 생산 환경과는 다른 메모리 제약형 상호작용 패턴까지 시험하고 있었다는 것이다.

이 차이는 결코 사소하지 않다. 현재 많은 AI 에이전트는 안정적으로 작동하기 위해 지속 상태, 장기 계획, 컨텍스트 관리에 의존한다. 벤치마크가 모든 참가자에게서 그런 능력을 제거하면 비교 가능성은 높아질 수 있다. 하지만 어떤 모델 계열이 retained reasoning과 요약된 컨텍스트를 사용하도록 명시적으로 훈련되었다면, 그 시스템이 실제 도구에서 어떻게 행동하는지 벤치마크가 과소평가할 수 있다.

동시에 OpenAI의 게시물은 반대의 위험도 강조한다. 하네스 선택으로 얻은 벤치마크 개선은 모델을 측정하는 것과 주변 소프트웨어 스택을 측정하는 것 사이의 경계를 흐릴 수 있다. 기업이 모델을 비교할 때, 평가 조건이 의도한 배포와 일치하지 않으면 리더보드 숫자가 기대만큼 많은 것을 말해주지 못할 수 있다.

증거, 유의점, 그리고 벤더 보고 사항

이 이야기의 가장 강한 주장들은 벤더 보고에 기반한다. 13.3%에서 38.3%로의 점수 상승, 6배의 출력 토큰 감소, 그리고 retained reasoning과 compaction이 향상을 이끌었다는 설명은 모두 OpenAI가 주요 출처다.

OpenAI는 또한 ARC-AGI-3 점수가 Relative Human Action Efficiency, 즉 RHAE로 측정되며, 공식 게임플레이 로그를 바탕으로 평균 인간 테스터가 48%를 기록했다고 추정한다. 이 인간 추정치는 새로운 벤치마크 결과가 아니라 OpenAI의 추정치로 제시된다.

회사는 또 자사의 하네스에서 GPT-5.6 Sol이 리더보드에 표시된 게임의 6개 레벨을 모두 해결하는 반면, 기본 리더보드 프레이밍에서는 “어떤 프런티어 모델도” 1레벨을 넘지 못한다고 주장한다. 이 글은 벤치마크와 하네스에 대한 OpenAI 자체 분석이므로, 독립적으로 재현되지 않는 한 독자들은 이 비교를 벤더의 주장으로 받아들여야 한다.

다른 한계도 있다. 이 글은 외부 재현, 여러 연구소에 걸친 중립적 재채점, 혹은 유사한 메모리 보존 변경이 경쟁 모델에도 비슷한 폭의 향상을 가져오는지를 보여주는 직접 비교를 제공하지 않는다. 또한 ARC-AGI-3가 무엇을 측정해야 하는지, 즉 제약된 범용 인터페이스에서의 순수한 모델 동작인지, 아니면 제공업체 최적화 에이전트 스택의 성능인지에 대한 규범적 질문도 해결하지 않는다.

그럼에도 이러한 단서를 감안하더라도 근본적인 요지는 신뢰할 만하고 점점 더 중요해지고 있다. API 설정, 컨텍스트 보존, 트렁케이션 정책, 도구 오케스트레이션은 각각 에이전트의 행동을 측정 가능한 방식으로 바꿀 수 있다. OpenAI가 이 점에서 이례적인 이유는 공개 벤치마크 노트에서 그 효과를 정량화했기 때문이다.

이것이 AI 빌더와 엔터프라이즈 팀에 의미하는 것

AI 에이전트를 만드는 제품 팀에게 주는 실질적 교훈은 메모리 아키텍처가 더 이상 백오피스 수준의 구현 디테일이 아니라는 점이다. 시스템이 계획, 관찰, 이전 가설을 반복해서 잃는다면, 기반 모델이 강력하더라도 다단계 작업에서 성능이 무너질 수 있다. OpenAI의 설명은 행동이 긴 시퀀스를 따라 전개되고 모델이 이전 시도에서 배워야 할 때 retained reasoning이 특히 중요하다고 시사한다.

Responses API를 사용하는 팀에게 OpenAI는 사실상 제품 논리를 제시하고 있다. 회사는 이런 설정이 특이한 조정이 아니라 ChatGPT와 Codex 뒤의 정상적인 운영 패턴의 일부라고 말한다. 이것이 사실이라면, 단순화된 루프로 모델을 벤치마킹하는 개발자들은 제공업체가 대표적이라고 보지 않는 구성을 시험하고 있는 셈일 수 있다.

토큰 효율성 주장은 점수 향상만큼 중요할 수 있다. 출력 토큰이 6분의 1로 줄어드는 것이 다른 에이전트 워크로드에서도 재현 가능하다면, 지연 시간과 비용 모두에 영향을 미칠 것이다. 엔터프라이즈 AI 배포에서는 긴 실행 워크플로가 추론 품질뿐 아니라, 컨텍스트가 늘어날수록 느리고 비싸고 취약해지기 때문에 실패하는 경우가 많다. OpenAI의 설명에 따르면 compaction은 롤링 트렁케이션의 거친 손실을 피하면서 연속성과 효율성을 모두 개선한다.

이 이야기는 평가 관행에도 시사점을 준다. 엔터프라이즈 AI 용도로 시스템을 비교하는 구매자는 어떤 모델이 테스트되었는지만이 아니라, 어떤 하네스, 어떤 메모리 설정, 어떤 도구 프로토콜, 어떤 컨텍스트 정책이 사용되었는지도 공급업체에 물어봐야 한다. 이런 층위를 명확히 밝히지 않는 벤치마크는 실제 조달 결정에 생각보다 덜 이식 가능할 수 있다.

게시물 뒤의 경쟁과 벤치마크 정치학

OpenAI의 게시물은 프런티어 모델 연구소에 모델 점수만이 아니라 왜 그런 점수가 나오는지를 설명하라는 압력이 커지는 가운데 나왔다. 벤치마크는 점점 모델 리더십에 대한 서사를 형성하고 있지만, 많은 에이전트 벤치마크는 핵심 모델 밖의 래퍼와 운영 선택에 의존한다.

retained reasoning과 compaction을 강조함으로써 OpenAI는 더 넓은 입장도 취하고 있다. 현대 AI 성능은 가중치만의 속성이 아니라 시스템 속성으로 평가되어야 한다는 것이다. 이런 관점은 ChatGPT, Codex, 독자적인 서비스 스택처럼 긴밀히 통합된 제품을 가진 공급업체에 유리하다. 고객은 추상적 기반 모델이 아니라 엔드투엔드 동작을 구매한다고 주장할 수 있기 때문이다.

이 입장이 보편적으로 받아들여지지는 않을 것이다. 일부 연구자들은 제품 튜닝이 가릴 수 있는 약점을 드러내기 때문에 오히려 절제된 벤치마크를 선호한다. 다른 이들은 사용자가 메모리, 요약, 도구 루프가 있는 모델을 배포한다면 평가도 그 현실을 반영해야 한다고 주장할 것이다. ARC-AGI-3 논쟁은 아마 이런 철학들이 충돌하는 여러 분기점 중 하나가 될 것이다.

다음에 주목할 것

가장 중요한 후속 신호는 독립 재현이다. 제3자가 동일한 Responses API 설정으로 OpenAI의 ARC-AGI-3 향상을 재현한다면, 이 결과는 일회성 벤더 블로그라기보다 벤치마크 방법론에 대한 교훈처럼 보일 것이다.

두 번째 신호는 ARC-AGI-3 유지 측이 범용 기준선과 생산 최적화 에이전트 트랙 같은 대체 하네스 경로를 추가하는지 여부다. 그렇게 하면 실제 시스템이 메모리 관리에 의존한다는 점을 인정하면서도, 같은 것을 같은 것끼리 비교할 수 있다.

셋째, OpenAI가 같은 논리를 다른 평가에도 확장할지 지켜볼 필요가 있다. retained reasoning과 compaction이 다른 장기 과제에서도 실질적으로 개선을 보인다면, AI 에이전트, 코딩 어시스턴트 제품, 업무 자동화에 미치는 영향은 이 하나의 벤치마크보다 더 넓을 수 있다.

마지막으로, 엔터프라이즈 팀은 컨텍스트 처리에 대한 공급업체의 더 명확한 문서를 주시해야 한다. 모델 제공업체가 ChatGPT, Codex, GPT-5.6 Sol 및 관련 시스템에 대한 표준 벤치마크 레시피를 공개하기 시작하면, 배포에 맞게 엔터프라이즈 AI 동작을 비교하기가 더 쉬워질 수 있다.

Creati.ai 시각

OpenAI의 게시물은 자사에 유리한 내용이지만, AI 평가의 실제 문제를 드러낸다. 벤치마크 점수는 종종 마치 모델만의 결과인 것처럼 취급되지만, 실제로는 여러 설계 선택의 결과를 반영한다. AI 에이전트를 만드는 사람에게 주는 교훈은 명확하다. 메모리 보존, 요약 정책, 도구 루프 구조는 부차적인 장식이 아니라 핵심 제품 결정이 될 수 있다.

더 전략적인 교훈은 엔터프라이즈 AI 구매자에게 향한다. 그 뒤의 하네스를 이해하지 못한 채 헤드라인용 모델 점수만 보고 조달하지 말라. OpenAI가 옳다면, 잘 맞지 않는 래퍼는 유능한 모델을 약하게 보이게 할 수 있고, 잘 맞는 래퍼는 신뢰성과 비용 모두에서 큰 개선을 이끌어낼 수 있다. 이는 모델 동작, 서비스 인프라, 애플리케이션 설계를 하나의 일관된 시스템으로 맞출 수 있는 공급업체와 팀으로 경쟁 우위를 이동시킨다.