많은 AI 연구소들이 모델 성능을 비교하기 위해 사용하는 공개 리더보드로 가장 잘 알려진 스타트업 Arena는, 유료 제품 출시 8개월 만에 연간 실행률(annualized run-rate) 기준 1억 달러 규모의 비즈니스로 성장했다고 밝혔습니다. TechCrunch에 따르면, 이 회사는 9월 상업용 서비스를 도입하여 사용자 평가 데이터와 커뮤니티 테스트를 모델 개발자와 기업 고객을 위한 분석 데이터로 전환하면서 이 이정표를 달성했습니다.

이러한 성과는 단순히 한 스타트업의 성장 이야기를 넘어선 의미를 갖습니다. 2023년 UC 버클리(UC Berkeley)의 연구 프로젝트로 시작된 Arena는 모델을 나란히 놓고 비교할 수 있는 개방형 크라우드소싱 방식을 제공하며 AI 생태계의 친숙한 요소가 되었습니다. 만약 이 회사가 보고한 매출이 정확하다면, 이는 평가 자체가 생성형 AI(Generative AI) 스택의 핵심 계층으로 자리 잡고 있음을 보여줍니다. 즉, 단순히 모델 애호가들을 위한 공개 순위표를 넘어, 연구소와 기업이 후학습(post-training) 및 배포 과정에서 품질 향상을 위해 기꺼이 비용을 지불하는 워크플로우가 되고 있다는 것입니다.

공개 리더보드에서 유료 평가 플랫폼으로

Arena는 단순한 상호작용 모델을 바탕으로 명성을 쌓았습니다. 소비자용 사이트에서 사용자가 프롬프트를 제출하면, 시스템이 이를 두 개의 AI 모델로 보내고 사용자가 더 나은 결과를 선택하는 방식입니다. 시간이 지남에 따라 이러한 쌍대 비교(pairwise judgments) 결과들이 모여 리더보드를 형성하며, TechCrunch는 이 리더보드가 1,000만 건 이상의 사용자 평가를 통해 생성되었다고 보도했습니다.

이 보고서에 따르면 해당 공개 순위 시스템은 여전히 무료로 운영됩니다. Arena가 AI 평가(AI Evaluations) 서비스를 출시하며 상업적으로 전환한 것은 지난 9월이었습니다. 이 서비스는 모델 연구소와 기업을 대상으로 하며, TechCrunch는 이 제품이 Arena의 평가자 커뮤니티로부터 수집된 데이터를 기반으로 더 깊이 있는 성능 분석을 제공한다고 설명합니다.

이러한 포지셔닝은 중요합니다. Arena는 파운데이션 모델(foundation model)이나 추론 액세스, 혹은 애플리케이션 계층 제품을 판매하는 것이 아닙니다. 연구소들이 후학습, 강화 학습 방법, 안전성 조정 및 작업별 최적화를 통해 성과를 짜내려 노력하는 시점에 피드백, 벤치마킹, 비교 성능 분석을 판매하고 있는 것입니다.

TechCrunch는 Arena가 텍스트, 코딩, 비전 및 이미지 생성 전반에 걸쳐 모델을 평가하며, 최근에는 복잡하고 긴 실행 워크플로우에 초점을 맞춘 에이전트 모드(Agent Mode)를 추가했다고 전했습니다. 단순히 챗봇을 비교하는 것만으로는 기업이 중요하게 생각하는 다양한 작업을 모두 포착할 수 없다는 점에서 이러한 확장은 의미가 큽니다. 구매자들은 이제 코딩 작업, 멀티모달 입력, 그리고 여러 단계와 도구를 포함하는 에이전트 체인(agentic chains) 전반에 걸친 신뢰성에 대한 증거를 점점 더 원하고 있습니다.

지금 이 수치가 중요한 이유

투자자와 고객들이 주목하는 이유는 시기적 요소로 설명됩니다. Arena는 지난 1월 17억 달러의 사후 가치 평가(post-money valuation)를 기준으로 1억 5천만 달러 규모의 시리즈 A 투자를 유치했습니다. 당시 TechCrunch는 이 회사의 연간 매출이 3,000만 달러였다고 보도했는데, 그 후 몇 달 만에 연간 실행 매출이 1억 달러까지 상승했다고 전했습니다.

실행 매출 산정 방식의 유연함을 고려하더라도 이는 매우 가파른 가속도입니다. 이는 평가 및 후학습 지원에 대한 수요가 모델 시장 그 자체와 함께 확장되고 있음을 보여줍니다. 모델 출시가 잦아지고 성능 격차가 좁혀짐에 따라, 신뢰할 수 있는 비교 테스트의 가치가 높아졌습니다. 고객이 도메인별 성능, 회귀 위험, 혹은 실제 사용자 프롬프트에서 모델이 어떻게 행동하는지를 중요하게 생각한다면, 단순히 광범위한 벤치마크 승리만으로는 충분하지 않기 때문입니다.

Arena의 성장은 또한 AI 분야의 보다 광범위한 상업적 현실을 반영합니다. 모델에 접근하기 쉬워질수록 차별화 요소는 데이터, 튜닝, 워크플로우 성능 및 신뢰성으로 이동하고 있습니다. 공개 리더보드는 커뮤니티의 참여를 유도할 수 있지만, 고객들이 그 신호가 유용하다고 믿는다면 동일한 기반 평가 활동을 유료 분석 계층으로 수익화할 수 있습니다.

또 다른 전략적 측면도 있습니다. Arena의 공공 서비스는 시장에서 독보적인 위치를 점하게 해줍니다. 모델 출시 시점에 근접해 있으며, 새로 출시되거나 아직 출시되지 않은 모델을 테스트하려는 사용자들의 관심으로부터 혜택을 받기 때문입니다. 이는 처음부터 빠르게 구축하기 어려운 데이터 수집 및 가시성 확보라는 우위를 제공합니다.

비즈니스 모델은 강력하지만 용어 정의가 관건입니다

TechCrunch 보고서에서 주목할 만한 세부 사항 중 하나는 Arena의 CEO인 Anastasios Angelopoulos가 회사가 소비 기반 가격 책정(consumption pricing) 방식을 사용한다고 명시했다는 점입니다. 즉, 1억 달러라는 수치는 구독이나 계약된 반복 지출을 기반으로 하는 전통적인 연간 반복 매출(ARR)이 아닙니다.

이러한 구분은 해당 비즈니스를 평가하려는 사람들에게 중요합니다. 소비 기반 매출은 특히 고객이 사용량을 빠르게 늘릴 때 좌석 기반 SaaS보다 더 빠르게 확장될 수 있습니다. 그러나 동시에 더 변동성이 클 수도 있습니다. 모델 연구소가 테스트를 줄이거나, 공급업체를 통합하거나, 일부 평가 작업을 내부화한다면 지출 패턴이 유지력이 높은 소프트웨어 구독처럼 작동하지 않을 수 있기 때문입니다.

TechCrunch는 Arena가 이 수치를 ARR로 지칭하면서도, 해당 매출이 전통적인 의미의 반복 매출은 아님을 인정하고 있다고 전했습니다. 따라서 독자들은 이 수치를 완전히 계약된 반복 매출 기반이 아닌, 현재 사용량을 기준으로 한 연간 실행 매출로 보아야 합니다.

그렇다고 이 이정표가 중요하지 않은 것은 아닙니다. 다만 비즈니스의 구성이 고전적인 엔터프라이즈 소프트웨어와는 다르게 보일 가능성이 높다는 의미입니다. 빌더와 투자자에게 중요한 질문은 '약어가 적절한가'보다는 '평가 사용이 개발 주기 속에 깊숙이 내재되어 지속 가능한 수요를 창출하고 있는가'일 것입니다.

경쟁 상대는 리더보드 스타트업만이 아닙니다

Arena의 성공 사례는 직접적인 유사 기업이 제한적임에도 불구하고 나타났습니다. TechCrunch는 또 다른 크라우드소싱 AI 모델 선택 스타트업인 Yupp이 3월에 문을 닫았다고 언급했습니다. Angelopoulos는 해당 매체와의 인터뷰에서 Arena가 인간 라벨링이나 Mercor, Surge, Scale AI와 같은 후학습 제공업체와 같은 예산을 두고 경쟁하고 있다고 말했습니다.

이 비교는 시사하는 바가 큽니다. Arena를 단순한 미디어 자산이나 벤치마킹 웹사이트가 아닌, 모델 개선을 위한 인프라로 정의하기 때문입니다. 인간 평가자, 선호도 데이터, 순위 시스템 및 심층 분석은 모두 모델이 개발자가 중요하게 생각하는 작업에서 더 나은 성능을 발휘하도록 만든다는 하나의 목표를 지향합니다.

TechCrunch는 Arena의 성장을 후학습 시장이 빠르게 확장되고 있다는 더 광범위한 징후들과 결부시킵니다. 해당 매체는 The Information의 이전 보도를 인용하여, Handshake의 AI 학습 관련 총 연간 매출이 1월에서 4월 사이 5억 5천만 달러에서 거의 10억 달러로 증가했으며, Mercor의 연간 매출 역시 작년 9월 약 5억 달러에서 올해 초 10억 달러를 돌파했다고 전했습니다. 이는 Arena 자체 보고의 최신 정보라기보다는 시장의 맥락을 보여주는 수치들이지만, AI 평가, 라벨링 및 학습 운영이 대규모 지출 카테고리가 되고 있다는 사실을 뒷받침합니다.

시장 측면에서 이는 전장이 이동하고 있음을 의미합니다. 모델 제공업체들은 여전히 프론티어 모델 출시를 두고 경쟁하지만, 가치의 상당 부분은 고객에게 어떤 모델이 더 나은지, 왜 더 나은지, 그리고 어떻게 개선할 수 있는지를 알려주는 계층으로 이동할 수 있습니다.

증거, 귀속, 그리고 검증되지 않은 것들

이 기사의 핵심 소식은 Anastasios Angelopoulos CEO의 발언을 포함한 TechCrunch의 보도에서 비롯되었습니다. 따라서 Arena의 1억 달러 수치는 제공된 소스 자료 내에서 독립적인 감사를 거친 재무 공시가 아닌, 회사 측이 발표한 매출 이정표입니다.

그 밖의 다른 중요한 세부 사항들 역시 TechCrunch의 설명에 근거합니다. Arena가 2023년 UC 버클리 프로젝트로 시작되었다는 점, 9월에 상업용 AI 평가 제품을 출시했다는 점, 공개 리더보드가 1,000만 건 이상의 사용자 평가를 반영한다는 점, 1월에 3,000만 달러의 연간 매출을 기록했다는 점, 그리고 Felicis, Andreessen Horowitz, Kleiner Perkins, Lightspeed 등을 포함한 투자자들로부터 총 2억 5천만 달러를 유치했다는 점 등이 그것입니다.

또한 이 보고서는 Arena의 공동 창업자로 Angelopoulos와 CTO인 Wei-Lin Chiang, 그리고 2025년 4월 회사 설립 전 프로젝트 자문을 맡았던 UC 버클리 교수이자 Databricks 공동 창업자인 Ion Stoica를 지목했습니다.

1억 달러 실행 매출의 정확한 구성은 여전히 확실하지 않습니다. 제공된 자료는 고객 수, 평균 지출, 유지율, 매출 총이익, 혹은 모델 연구소와 기업 구매자 간의 비중을 구분하여 보여주지 않습니다. 또한 Arena의 공개 리더보드가 실제 현장 생산 성과를 얼마나 예측할 수 있는지에 대한 제3자 검증도 제공하지 않습니다. 많은 기업들이 단순히 광범위한 인기나 커뮤니티 선호도 신호가 아닌 도메인 특화 평가를 원하는 만큼, 이러한 정보의 공백은 중요합니다.

AI 빌더와 기업 구매자에게 미치는 의미

모델 구축팀에게 있어 Arena의 부상은 실질적인 진실을 일깨워줍니다. 강력한 모델을 배포하는 것만으로는 부족하다는 것입니다. 팀들은 출시, 작업 유형 및 워크플로우 길이에 걸쳐 지속적인 평가가 필요합니다. 선호도 데이터, 비교 분석 및 회귀를 빠르게 표면화할 수 있는 서비스는 반복 주기를 단축하고 더 약한 체크포인트를 배포할 위험을 줄일 수 있습니다.

애플리케이션 팀의 경우는 상황이 조금 다릅니다. 공개 리더보드는 발견 도구로 유용하지만, 실제 프로덕션 의사결정은 보통 기업 자신의 프롬프트, 정책 및 실패 임계값에 맞춰진 더 좁은 범위의 테스트를 필요로 합니다. Arena의 상업적 움직임은 외부 평가 인프라에 대한 수요가 있음을 시사하지만, 구매자들은 여전히 테스트 세트가 자신의 사용 사례를 반영하는지, 판단이 재현 가능한지, 그리고 모델 업데이트 후 공급업체가 얼마나 빨리 회귀를 감지할 수 있는지 질문해야 합니다.

기업에게 더 큰 영향은 조달 방식의 변화입니다. 평가는 임시 연구 기능에서 모델 액세스, 가드레일, 가시성 및 데이터 라벨링과 나란히 위치할 수 있는 항목으로 이동하고 있습니다. 이는 배포 규율을 개선할 수 있지만, 벤치마킹, 인간 피드백, 레드팀(red-teaming) 및 후학습 지원을 제공하는 공급업체 간의 중복성을 생성하기도 합니다. 구매자들은 광범위하게 유용한 신호와 비싸지만 일반적인 대시보드를 구분할 필요가 있습니다.

다음으로 지켜봐야 할 것

다음으로 주목할 신호는 Arena가 현재의 실행 매출 모멘텀을 지속 가능한 기업 계약으로 전환할지, 아니면 모델 출시 속도에 얽매인 사용량 중심 서비스로 남을지 여부입니다. 고객 구성과 유지율에 대한 구체적인 정보가 있다면 이를 명확히 밝히는 데 도움이 될 것입니다.

두 번째 질문은 주요 연구소들이 타사 평가 플랫폼에 대한 의존도를 심화할 것인지, 아니면 이 스택의 상당 부분을 내부적으로 구축할 것인지 여부입니다. 외부 플랫폼이 계속해서 예산을 확보한다면, 평가 작업은 그 자체로 거대한 소프트웨어 및 서비스 카테고리가 될 수 있습니다. 연구소들이 이 작업을 내재화한다면, 독립적인 공급업체들은 더 전문화해야 할 필요가 있을 것입니다.

세 번째로, Arena의 에이전트 모드가 어떻게 발전할지 지켜보십시오. 고객들이 단일 턴 프롬프트보다 장기 실행 워크플로우를 더 많이 평가하게 된다면, 이 회사는 리더보드 순위 확보만을 추구하는 기업이 아니라 에이전트를 배포하는 기업 고객들에게 더욱 중요해질 수 있습니다.

마지막으로, 벤치마크와 투명성에 대한 검증을 지켜보십시오. 평가가 비즈니스 중심 인프라로 전환됨에 따라, 방법론, 샘플링 편향, 재현성, 그리고 공개 순위가 실제 비공개 프로덕션 결과와 얼마나 일치하는지에 대한 고객들의 요구는 더욱 분명해질 것입니다.

Creati.ai의 관점

Arena가 보고한 성장은 AI 지출이 어디로 향하고 있는지를 보여주는 유용한 지표입니다. 모델 계층이 여전히 가장 많은 관심을 받고 있지만, 이 이야기는 시장이 점점 더 모델 주변의 기계, 즉 순위, 피드백, 튜닝 및 품질 증명에 가치를 두고 있음을 시사합니다. 모델 간의 차이가 미묘하고 빠르게 변하며 워크플로우 설계에 크게 의존하는 현재 상황에서는 특히 그렇습니다.

주의할 점은 모든 평가 신호가 동일한 가치를 지니지는 않는다는 것입니다. 커뮤니티 선호도 데이터는 강력할 수 있지만, 기업들은 리더보드가 자신만의 작업에서 실제 운영상의 성과로 변환된다는 증거를 필요로 합니다. Arena가 영향력을 발휘하게 한 개방성을 유지하면서도 유료 배포 환경에서 엄격한 가치를 증명함으로써 그 간극을 메울 수 있다면, 벤치마크 연구소, 데이터 플랫폼, 후학습 제공업체 사이의 영역을 차지하며 새로운 카테고리를 정의하는 데 도움을 줄 수 있을 것입니다.