집단 에이전트 지능으로 여는 오픈 사이언스: Einstein Arena

URL: https://www.youtube.com/watch?v=mMNkdYnIVC4 날짜: 2026-08-26 채널: AI Engineer 발표자: James Zou, Together AI·Stanford 협업 원문 제목: Einstein Arena: Harnessing Collective Agent Intelligence for Open Science 영상 길이: 16분 55초

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==강력한 AI 에이전트에게 일하는 절차(workflow)를 세세하게 지시하는 대신, 에이전트가 일할 장소와 보상·검증·자원을 설계하면 개별 에이전트의 한계를 넘어 집단 지능과 새로운 과학적 발견을 끌어낼 수 있는가?==

• James Zou는 Together AI와 Stanford의 협업으로 에이전트가 과학 문제를 자유롭게 풀도록 하는 환경(environment)을 설계한다.
• Einstein Arena는 결정론적 검증기(deterministic verifier), 에이전트 간 포럼, 실시간 리더보드로 협업과 경쟁을 동시에 유도한다.
• 11차원 kissing number에서 기존 593개를 604개 구로 개선했고, 일부 GPU kernel은 이전 최첨단보다 2배 이상 빨라졌다.
• DSGym은 데이터에 접근하지 않고도 풀리는 기존 데이터 사이언스 benchmark의 shortcut을 제거하고, 실행 검증 trajectory로 소형 오픈소스 모델까지 훈련한다.

이 발표의 핵심은 “에이전트에게 무엇을 어떻게 할지 정해 주는 workflow”에서 “에이전트가 무엇을 위해 어디서 활동할지 정해 주는 환경”으로 설계 대상이 이동하고 있다는 주장이다. 환경은 인센티브, 기반시설(infrastructure), guardrail, 자원, 검증 피드백을 제공하고 구체적인 작업 방식은 에이전트에게 남긴다. 그러면 단일 모델이나 단일 workflow로는 나오기 어려운 창의성, 능력, 집단 지능이 여러 에이전트의 상호작용에서 자연스럽게 출현한다.

---

1. Workflow에서 Environment로 설계 단위 전환

에이전트의 능력이 커질수록 정해진 절차는 잠재력을 제한할 수 있으므로, 절차가 아니라 활동 환경을 설계해야 한다.

1.1. 기존 AI 에이전트 사용 방식: Workflow와 Harness

1. Workflow는 에이전트의 작업 방식을 사전에 지시한다

   1. 일반적인 AI 에이전트 배포는 에이전트가 무엇을 해야 하는지와 어떤 순서로 일해야 하는지를 설계하는 방식이다.
   2. 이 방식은 여러 단계(step), prompt, tool, instruction을 묶은 harness 또는 workflow 형태로 구현된다.
   3. 발표자는 이러한 현재의 패러다임이 에이전트의 모든 판단과 행동 경로를 설계자가 미리 지정하는 데 초점을 둔다고 설명한다.

2. Workflow의 장점과 구조적 한계가 동시에 존재한다

   1. 정해진 절차는 반복 가능한 작업과 특정 도메인의 안정적인 실행에 유리하다.
   2. 그러나 에이전트가 강력해질수록 설계자가 정한 단계와 prompt가 에이전트의 능력과 창의성을 상한선으로 만들 수 있다.
   3. 에이전트가 예상 밖의 가설을 세우거나 다른 에이전트의 결과를 활용하는 경로를 workflow가 미리 차단할 수 있다.

1.2. Environment 중심 설계의 원리

1. Environment는 에이전트가 일하는 ‘방법’이 아니라 ‘장소’를 규정한다

   1. 환경은 “이 단계를 먼저 하고 다음 도구를 사용하라”라고 지시하지 않는다.
   2. 대신 에이전트가 활동할 문제 공간, 접근 가능한 자원, 상호작용 규칙, 검증 방식, 보상 구조를 제공한다.
   3. 에이전트는 정해진 환경 안에서 자신에게 적합한 작업 전략과 순서를 스스로 선택한다.

2. 환경이 제공해야 할 구성요소가 있다

   1. Incentive: 더 좋은 해법을 제출하고 문제를 해결하도록 동기를 주는 점수와 경쟁 구조를 둔다.
   2. Infrastructure: 문제에 접근하고 코드를 실행하고 다른 에이전트와 정보를 교환할 기반시설을 제공한다.
   3. Guardrail: 문제의 규칙과 검증 조건을 명확히 하여 유효하지 않은 해법을 걸러낸다.
   4. Resource: curated problem, 데이터, 실행 환경, 다른 에이전트의 결과처럼 작업에 필요한 자원을 제공한다.

3. 설계자의 역할이 명령 작성자에서 생태계 설계자로 바뀐다

   1. 설계자는 에이전트에게 정답에 이르는 경로를 강요하기보다 유의미한 목표와 신뢰할 수 있는 피드백을 정의한다.
   2. 좋은 환경은 서로 다른 에이전트가 협력하고 경쟁할 수 있게 하며, 한 에이전트의 발견이 다른 에이전트의 출발점이 되게 한다.
   3. 발표자는 이 전환을 “workflow와 harness 설계에서 environment 설계로 이동”하는 흐름으로 정리한다.

1.3. 발표의 전개

1. 환경 설계의 실제 사례를 제시한다

   1. 첫 번째 사례는 오픈 엔드 과학 문제를 에이전트가 협업·경쟁하며 푸는 Einstein Arena다.
   2. 두 번째 사례는 같은 환경 원리를 GPU kernel 최적화에 적용한 시스템이다.
   3. 마지막 사례는 데이터 사이언스 에이전트를 평가하고 훈련하는 DSGym(Data Science Gym)이다.

2. 사례들이 보여 주는 공통 가설을 제시한다

   1. 에이전트의 능력은 개별 모델의 benchmark 점수만으로 결정되지 않는다.
   2. 어떤 문제와 자원, 검증기, 사회적 상호작용, 보상 구조를 제공하는지가 결과를 크게 좌우한다.
   3. 적절한 환경에서는 단일 에이전트가 내지 못한 해법이 여러 에이전트의 누적·수정·검증 과정에서 만들어진다.

---

2. Einstein Arena: 에이전트 네이티브 오픈 사이언스 환경

Einstein Arena는 AI 에이전트가 실제 세계에서 공개적으로 협업하고 경쟁하며 열린 과학 문제를 푸는 공간이다.

2.1. 진입부터 에이전트 중심으로 설계한다

1. Arena는 agent-native 인터페이스를 지향한다

   1. 에이전트가 Arena의 skill 문서를 읽고 접속할 수 있도록 설계한다.
   2. 특정 회사나 폐쇄된 팀에만 속한 에이전트가 아니라 전 세계의 어떤 에이전트든 공개적으로 참여할 수 있다.
   3. 참여의 개방성은 여러 모델과 서로 다른 전략이 한 문제 공간에 들어와 결과를 비교하게 만든다.

2. 인간의 직접 진입은 의도적으로 어렵게 만든다

   1. Arena에 들어가려면 먼저 작은 puzzle을 풀어 자신이 AI 에이전트임을 증명해야 한다.
   2. 인간을 배제하는 것이 설계의 목적이므로, 사람이 직접 참여하기는 어렵고 에이전트가 읽고 실행하기는 쉽게 만든다.
   3. 사람은 문제와 검증 조건을 큐레이션하고 환경을 운영하지만, Arena 내부의 탐색과 제출은 에이전트가 담당한다.

2.2. 문제 큐레이션과 결정론적 검증

1. 입장한 에이전트는 curated open problem 목록을 본다

   1. 문제는 단순한 퍼즐이 아니라 과학적으로 흥미롭고 인간 연구자 공동체가 관심을 가진 문제로 선정한다.
   2. 따라서 각 문제는 실제 인간 과학자에게 중요한 연구 질문이라는 사회적·학술적 맥락을 가진다.
   3. 에이전트는 목록에서 자신이 관심 있는 문제를 선택해 해당 problem space로 이동한다.

2. 각 문제는 잘 정의된 검증이 가능해야 한다

   1. Arena는 문제 해법의 품질을 평가할 수 있는 well-defined, deterministic verifier를 붙인다.
   2. 검증기는 제출된 결과가 규칙을 만족하는지와 어느 정도의 품질을 갖는지를 일관되게 판정한다.
   3. 결정론적 검증이 있어야 서로 다른 에이전트의 결과를 같은 기준으로 비교하고 실시간 점수로 환원할 수 있다.

3. 큐레이션은 두 가지 조건을 동시에 만족해야 한다

   1. 첫째, 인간 연구자에게 실제로 의미가 있는 과학 문제여야 한다.
   2. 둘째, 해법의 정확성이나 품질을 자동으로 평가할 수 있는 명확한 검증 절차를 만들 수 있어야 한다.
   3. 이 두 조건이 있어야 공개적인 에이전트 경쟁이 과학적 가치와 운영 가능성을 함께 갖는다.

2.3. 포럼과 리더보드가 만드는 사회적 구조

1. 문제 공간에는 상세 설명과 discussion forum이 있다

   1. 문제 설명은 에이전트가 무엇을 풀어야 하는지 정확히 이해할 수 있도록 제공된다.
   2. 포럼은 에이전트들이 서로 소통하는 social network와 비슷한 공간이다.
   3. 에이전트는 질문을 올리고 도움을 요청하며, 다른 에이전트의 접근법에 대한 추천과 실패 경험을 공유한다.

2. 실시간 leaderboard가 제출을 즉시 평가한다

   1. 에이전트는 원하는 시점에 문제 해법을 제출할 수 있다.
   2. verifier가 제출물의 품질을 판정하면 그 결과가 실시간 점수로 바뀐다.
   3. leaderboard는 계속 업데이트되므로 에이전트는 자신의 현재 위치와 다른 에이전트의 성과를 즉시 파악한다.

3. 해법 자체가 공개되어 후속 개선의 재료가 된다

   1. 에이전트는 다른 에이전트가 어느 정도 성과를 냈는지 볼 수 있다.
   2. 다른 에이전트의 solution을 직접 보고 다운로드할 수도 있다.
   3. 이 공개성은 한 에이전트의 시도가 사라지지 않고, 다음 에이전트가 수정하고 최적화할 수 있는 lineage의 일부가 되게 한다.

4. 협력과 경쟁이 동시에 작동한다

   1. 포럼에서는 질문과 답변, 실패 공유를 통해 협력이 발생한다.
   2. leaderboard에서는 더 높은 점수를 얻기 위한 경쟁이 발생한다.
   3. 발표자는 이 구조가 인간 연구자들이 경쟁하면서도 연구 결과를 공유하는 방식과 유사하다고 설명한다.

---

3. Einstein Arena가 만든 과학적 돌파: 11차원 Kissing Number

Arena는 공개 후 짧은 기간 안에 기존 인간 및 전문 AI 해법을 넘어선 결과를 여러 문제에서 만들었다.

3.1. 출시 성과와 11개 문제

1. Arena는 2026년 발표 시점 기준 그해 3월에 출시됐다

   1. James Zou는 “올해 초, 3월쯤” Einstein Arena 환경을 출시했다고 설명한다.
   2. 출시 후 몇 주 안에 에이전트들이 이미 11개 문제에서 새로운 해법을 발견했다.

2. 11개 결과는 당시 최선의 해법을 넘어섰다

   1. 에이전트가 찾은 해법은 이전에 발견된 어떤 인간 해법보다 좋았다.
   2. 더 전문화된 AI 도구를 사용해 얻은 기존 결과보다도 좋았다.
   3. 발표자는 이를 단순한 자동화가 아니라 집단 에이전트 환경이 새로운 과학적 결과를 낸 사례로 제시한다.

3.2. Kissing Number 문제의 직관

1. 문제는 중심 구 주변에 배치할 수 있는 구의 최대 개수를 묻는다

   1. 중심에 하나의 sphere를 놓고, 서로 겹치지 않게 주변에 최대 몇 개의 sphere를 놓을 수 있는지 계산한다.
   2. 주변 구들은 중심 구와 접할 수 있지만 서로 overlap해서는 안 된다.
   3. 이 문제는 진술은 단순하지만 차원이 높아질수록 최대 배치를 증명하기가 급격히 어려워진다.

2. 낮은 차원에서는 답이 직관적이다

   1. 1차원에서는 중심 구의 왼쪽과 오른쪽에 하나씩 놓을 수 있으므로 kissing number는 2다.
   2. 2차원에서는 중심 원 둘레에 서로 겹치지 않는 원 6개를 놓을 수 있으므로 kissing number는 6이다.
   3. 2차원을 넘어 higher dimension으로 가면 최대 개수가 명확하지 않고, non-overlapping 배치를 계산하는 일이 열린 문제가 된다.

3. 수백 년 동안 이어진 문제다

   1. 이 문제의 한 형태는 수백 년 전부터 연구되었다.
   2. Isaac Newton도 kissing number 문제의 한 버전을 다룬 것으로 소개된다.
   3. 높은 차원의 최적값은 수 세기 동안 수학자들이 도전한 open problem으로 남아 있었다.

3.3. 11차원 기록의 누적 발전

1. 초기 최선의 알려진 구성은 440개였다

   1. 발표자는 11차원에서 구 440개를 겹치지 않게 배치할 수 있다는 결과가 1980년대의 기준점이었다고 설명한다.
   2. 이 수치는 11차원 kissing number에 대한 당시 best-known construction이었다.

2. 1980년대의 큰 진전은 582개였다

   1. 발표 중 1980년대의 큰 발전으로 11차원에서 582개 구를 구성한 결과를 제시한다.
   2. 이후 이 기록은 약 40년 동안 크게 움직이지 않았다.
   3. 자막에는 연도 표현이 다소 흔들리지만, 핵심은 582개가 장기간의 기준으로 남았다는 점이다.

3. 2022년과 2023년에 수학·전문 AI가 기록을 높였다

   1. 2022년 한 수학자가 새로운 돌파구를 발표해 582개를 592개로 개선했다.
   2. 이듬해 DeepMind의 돌파구가 기록을 593개로 높였다.
   3. 따라서 Arena가 등장하기 직전의 best-known 수치는 593개였다.

4. 다중 에이전트가 며칠 만에 604개를 구성했다

   1. Arena의 협업 에이전트들은 며칠 안에 11차원에서 서로 겹치지 않는 구 604개를 구성했다.
   2. 604개는 기존 593개보다 11개 많고, 장기간 누적된 수학적 기록을 단기간에 개선한 결과다.
   3. 발표자는 이 결과를 단일 모델의 일회성 출력이 아니라 여러 에이전트가 서로의 제출물을 이어받아 만든 구성으로 강조한다.

3.4. 왜 단일 에이전트가 아니라 집단이 필요했는가

1. 문제 자체가 단일 모델의 능력을 넘어선다

   1. 발표자는 GPT-5.5나 다른 frontier model 하나만으로는 이 문제를 풀기 어렵다고 말한다.
   2. 하나의 에이전트가 처음부터 완성된 해법을 내놓는 방식으로는 탐색 공간과 최적화 난이도를 감당하기 어렵다.
   3. 여러 에이전트가 서로 다른 시도와 부분 개선을 누적하는 구조가 핵심이 된다.

2. 해법 lineage가 집단 지능의 흔적을 남긴다

   1. 한 에이전트가 만든 배치를 다른 에이전트가 가져가 변형하고 점수를 높인다.
   2. 후속 에이전트는 기존 제출의 장점을 보존하면서 약점을 수정하고 더 나은 구성을 탐색한다.
   3. 이 과정이 반복되며 여러 시도와 개선이 lineage trace로 연결되어 최종 돌파구에 이른다.

3. 포럼의 실패·정보 공유가 탐색을 가속한다

   1. 한 에이전트는 다른 에이전트에게 특정 접근법을 시도해 보았는지 묻는다.
   2. 발표 화면의 사례에서 에이전트는 STP로 인식된 접근법을 물었고, 문맥상 semidefinite programming(SDP) 계열 접근법으로 이해할 수 있다.
   3. 다른 에이전트들은 그 접근법을 시도했는지와 무엇을 발견했는지를 답해, 이미 실패한 경로를 반복하지 않게 한다.
   4. 포럼의 정보 공유가 leaderboard의 점수 경쟁과 결합되어 전체 탐색 속도를 높인다.

3.5. Kissing Number의 공학적 의미

1. 높은 차원의 구 배치는 coding system과 연결된다

   1. 더 많은 sphere를 높은 차원에서 서로 겹치지 않게 배치할수록 더 좋은 code를 구성할 수 있다.
   2. 이러한 coding system은 정보 전송 과정에서 오류를 수정하는 error-correction code와 관련된다.
   3. 따라서 604개 구성은 수학적 기록에 그치지 않고 통신 및 정보공학 알고리즘 개선으로 이어질 수 있다.

2. 과학 문제의 해법이 엔지니어링 자원으로 전환된다

   1. Arena는 추상적인 수학 문제의 최적화와 실제 시스템의 성능 개선을 같은 환경 원리로 다룬다.
   2. verifier와 공개된 개선 이력이 있으면 이론적 발견을 재현하고 후속 시스템에 적용할 수 있다.
   3. 과학적 탐색과 실용적 엔지니어링이 에이전트 환경 안에서 이어진다는 점이 사례의 중요한 시사점이다.

---

4. 같은 환경을 GPU Kernel 최적화에 적용

Einstein Arena의 문제·검증·점수 구조를 GPU kernel에 맞게 바꾸자, 에이전트들이 Together AI의 실제 production kernel을 개선했다.

4.1. 수학 검증기를 컴파일·벤치마크 검증기로 교체

1. 환경의 외형은 유지하고 backend만 바꾼다

   1. 에이전트가 leaderboard에서 경쟁하고, 서로 결과를 보고 협력하는 구조는 수학 문제와 같다.
   2. 다만 수학 문제의 정답을 검증하던 backend 대신 kernel을 compile하고 benchmark한다.
   3. 실행 테스트와 correctness 검증을 통과한 뒤 속도를 측정해 제출물의 품질을 평가한다.

2. 실시간 성능 피드백이 탐색을 안내한다

   1. 각 kernel 제출물은 실제 실행을 통해 정확성과 속도를 검사받는다.
   2. verifier는 이 결과를 score로 변환하고 leaderboard에 실시간으로 반영한다.
   3. 에이전트는 다른 구현과 비교하며 어느 최적화가 실제 hardware에서 유효한지 즉시 알 수 있다.

4.2. 서로 다른 Persona의 에이전트 협력

1. 에이전트마다 다른 관점과 prior를 부여한다

   1. 한 에이전트는 profiling 결과를 주로 분석한다.
   2. 다른 에이전트는 memory consumption과 메모리 이동을 집중적으로 본다.
   3. 또 다른 에이전트는 precision, tensor computation, 계산의 정확성 및 수치 표현을 살핀다.

2. Persona 차이가 최적화 탐색의 폭을 넓힌다

   1. 모든 에이전트가 동일한 질문만 반복하지 않고 서로 다른 병목을 조사한다.
   2. profiling 관점의 발견은 memory 관점의 에이전트가 새 구현으로 바꿀 수 있다.
   3. precision을 확인하는 에이전트가 빠른 kernel이 정확성을 잃지 않았는지 guardrail 역할을 한다.
   4. 이처럼 서로 다른 prior가 forum과 leaderboard를 통해 합쳐진다.

4.3. Production 성능 개선

1. 일부 kernel에서 2배를 넘는 speedup이 나왔다

   1. 에이전트 협업은 일부 production kernel에서 2배 이상, 즉 two-fold 이상의 속도 향상을 만들었다.
   2. 발표 화면에는 page attention을 포함한 여러 kernel 예시가 제시되었다.
   3. 처음에는 특정 shape에 대한 사례였지만, 이후 여러 shape과 여러 hardware type으로 일반화했다.

2. 최첨단 기준과 비교해 개선을 측정한다

   1. 속도는 이전 state-of-the-art kernel을 기준으로 비교한다.
   2. 단순히 코드가 짧아졌다는 평가가 아니라 compile·benchmark·test·verify라는 실행 결과로 개선을 판정한다.
   3. 환경의 leaderboard가 실험 결과를 누적하므로 에이전트는 더 빠른 구현을 계속 기반으로 삼을 수 있다.

3. 성과가 연구 데모를 넘어 production에 들어갔다

   1. 에이전트들이 설계한 improved kernel은 이미 Together AI production에서 사용된다.
   2. 따라서 environment 기반 최적화는 연구실 benchmark를 높이는 데 그치지 않고 실제 inference 시스템의 성능으로 연결된다.
   3. open-ended scientific problem과 GPU systems engineering이 같은 협업·경쟁 메커니즘으로 다뤄질 수 있음을 보여 준다.

---

5. DSGym: 데이터 사이언스 에이전트를 위한 통합 환경

DSGym은 복잡한 데이터 사이언스 문제를 해결하는 에이전트를 평가하고 훈련하기 위한 통합 실행 환경이다.

5.1. 데이터·태스크·실행 계층의 통합

1. DSGym은 평가와 훈련을 동시에 지원한다

   1. 이름은 Data Science Gym의 약자이며, 데이터 사이언스 에이전트를 위한 unified environment다.
   2. 에이전트가 복잡한 데이터 분석과 predictive modeling 문제를 푸는 능력을 평가한다.
   3. 동시에 실제로 실행되고 검증된 과정을 모아 에이전트 훈련 데이터로 만든다.

2. 서로 다른 데이터셋과 태스크를 하나의 인터페이스로 묶는다

   1. DS Gym은 여러 설정에서 가져온 데이터셋과 task를 curated list로 구성한다.
   2. 에이전트는 unified interface를 통해 서로 다른 데이터셋에 접근한다.
   3. 코드 실행(code execution)을 사용해 분석, 모델 학습, 평가를 실제로 수행한다.

3. 병렬 실행 기반을 제공한다

   1. 에이전트는 여러 Docker container를 띄울 수 있다.
   2. 서로 다른 data science algorithm이나 실험을 병렬로 실행하고 비교할 수 있다.
   3. 이 실행 계층은 자연어 답변만 평가하는 것이 아니라 코드가 실제 데이터와 시스템에서 작동했는지 확인하게 한다.

5.2. 기존 Data Science Benchmark의 shortcut 문제

1. 기존 benchmark를 가져오려다 평가의 허점을 발견했다

   1. DS Gym을 처음 만들 때 널리 쓰이던 기존 data science benchmark를 포함하려고 했다.
   2. 그러나 많은 benchmark가 실제 데이터셋을 사용하지 않고도 풀 수 있는 shortcut에 취약했다.
   3. 이런 benchmark 점수는 에이전트가 데이터를 이해하고 분석했다는 증거가 되기 어렵다.

2. 데이터를 보지 않고도 풀리는 태스크가 상당수다

   1. 발표 화면의 benchmark별 green bar는 에이전트의 전체 성능을 보여 준다.
   2. red bar는 underlying dataset을 실제로 사용하지 않고도 해결한 태스크의 비율을 보여 준다.
   3. 여러 인기 benchmark에서 최대 20~50%의 태스크가 데이터셋을 전혀 보지 않고도 풀렸다.
   4. 에이전트는 일반적인 추론, 문제 형식의 단서, 또는 benchmark-specific shortcut만으로 답을 만들 수 있었다.

3. Shortcut은 benchmark의 포화와 오판을 만든다

   1. 데이터 없이도 정답을 맞힐 수 있으면 높은 점수가 실제 data science 능력을 반영하지 않는다.
   2. 모델이 dataset의 구조를 발견했는지, 코드를 정확히 실행했는지, 결과를 검증했는지 구분할 수 없게 된다.
   3. 따라서 단순한 정답률만으로 agent가 복잡한 과학·예측 과제를 해결한다고 결론 내릴 수 없다.

5.3. DS Gym의 자체 benchmark 큐레이션

1. Scientific analysis와 discovery 태스크를 논문에서 만든다

   1. 최근 출판된 논문을 검토해 실제 연구에서 사용된 데이터와 분석 질문을 골랐다.
   2. 논문에서 데이터와 task를 조심스럽게 큐레이션해 에이전트가 과학적 분석을 수행하게 했다.
   3. human scientist와 domain expert가 각 task를 검토해 문제의 과학적 타당성과 품질을 확인했다.

2. Predictive modeling 태스크는 Kaggle에서 찾는다

   1. 여러 Kaggle competition을 검토해 최근에 열려 있는 대회를 선별했다.
   2. 데이터셋의 품질이 높고 평가 방식도 신뢰할 수 있는 competition을 골랐다.
   3. 이를 predictive modeling task로 DS Gym에 편입해 모델 구축 능력을 평가한다.

3. 문제의 설계와 검증을 함께 확인한다

   1. 과학 분석은 사람이 관심을 가질 실제 연구 질문을 갖는다.
   2. 예측 문제는 양질의 데이터와 독립적인 평가 절차를 갖는다.
   3. 모든 태스크는 코드 실행을 통해 데이터 사용 여부와 결과 재현성을 확인할 수 있게 구성한다.

5.4. 규모와 난이도

1. 다양한 도메인과 데이터 양식을 포함한다

   1. DS Gym은 12개를 넘는 태스크를 만들었다.
   2. 태스크는 수십 개의 과학 도메인으로 확장되며 biology, physics, economics를 포함한다.
   3. 서로 다른 data type과 data modality를 다루므로 한 종류의 표 형식 데이터에만 맞춘 평가가 아니다.

2. Open·Closed 모델을 같은 환경에서 비교한다

   1. 통합 인터페이스 덕분에 open-source model과 closed-source model을 동일한 실행 조건에서 평가할 수 있다.
   2. 모델 자체의 언어 능력뿐 아니라 코드 실행, 데이터 분석, 실험 설계, 결과 해석을 함께 측정한다.

3. Frontier model도 아직 낮은 성능을 보인다

   1. 당시 frontier model조차 DS Gym 태스크에서 50% 미만의 accuracy만 달성하는 경우가 많았다.
   2. 이는 benchmark가 이미 모델의 능력을 모두 드러내고 더 이상 구분하지 못하는 saturated set이 아니라는 뜻이다.
   3. 실제 데이터 사이언스 에이전트의 개선 여지가 크다는 점을 보여 준다.

5.5. 실행 검증 trajectory로 소형 모델 훈련

1. DS Gym은 평가장이면서 training factory다

   1. 에이전트가 DS Gym에서 실행한 전체 과정은 단순한 텍스트 설명이 아니다.
   2. 에이전트가 작성한 코드가 실제로 실행되고, 결과가 verifier를 통과한 trajectory만 남긴다.
   3. 이러한 execution-verified trajectory는 어떤 코드와 추론 경로가 실제 문제를 해결했는지 보여 준다.

2. 검증된 궤적을 fine-tuning에 사용한다

   1. DS Gym은 실행으로 검증된 trajectory를 대량으로 생성한다.
   2. 이 데이터를 이용해 작은 open-source model을 fine-tune한다.
   3. 모델은 정답 문장을 모방하는 대신 데이터에 접근하고 코드를 실행해 결과를 만드는 패턴을 학습한다.

3. 소형 모델이 best-in-class open-source 성능을 낸다

   1. fine-tuning된 모델은 이런 data science task를 해결하는 open-source 모델 중 최고 수준의 성능을 달성한다.
   2. 모델 크기가 작아 laptop이나 개인용 computer에서 직접 실행할 수 있다.
   3. 검증된 실행 데이터가 비싼 대형 모델에만 의존하지 않고 로컬 에이전트의 실용성을 높인다.

4. 합성 데이터와 자체 에이전트 훈련으로 확장된다

   1. DS Gym은 synthetic data를 생성할 수 있는 경로도 제공한다.
   2. 사용자는 이 실행 계층과 검증된 데이터를 활용해 자신의 data science agent를 개선하고 훈련할 수 있다.
   3. 따라서 DS Gym은 benchmark, execution layer, training data generator를 한 환경에 결합한다.

---

6. 발표의 종합 결론: 집단 지능을 유도하는 환경

AI 시스템 구축은 모델·도구에서 agent workflow로, 다시 incentive와 infrastructure를 갖춘 environment로 이동하고 있다.

6.1. AI 시스템 설계의 세 단계

1. 첫 단계는 개별 모델과 도구를 만드는 단계다

   1. 과거에는 AI 시스템의 핵심이 individual model 또는 individual tool의 성능이었다.
   2. 어떤 모델이 더 좋은 예측과 출력을 내는지를 중심으로 시스템을 설계했다.

2. 둘째 단계는 에이전트와 harness를 만드는 단계다

   1. 최근에는 모델이 여러 도구를 사용하고 장기 작업을 수행하도록 agent를 설계한다.
   2. agent 주변에 workflow와 harness를 만들어 작업 순서, prompt, tool 사용을 조정한다.
   3. 이 단계는 단일 모델보다 복잡한 일을 수행하게 하지만, 설계자가 정한 절차에 에이전트를 묶는 문제가 있다.

3. 셋째 단계는 environment를 만드는 단계다

   1. 발표자가 제안하는 다음 단계는 특정 workflow나 특정 agent를 직접 설계하는 것이 아니다.
   2. 에이전트가 도전적인 문제를 풀도록 동기를 주는 infrastructure와 incentive를 설계한다.
   3. 에이전트가 환경 안에서 전략을 선택하고 다른 에이전트의 작업을 활용하도록 한다.

6.2. 환경이 열어 주는 창의성과 집단 지능

1. 환경은 workflow보다 더 큰 탐색 공간을 허용한다

   1. 정해진 workflow는 설계자가 예상한 행동만 쉽게 만들고 예상 밖의 전략을 제한한다.
   2. 환경은 목표와 검증을 고정하되 목표에 도달하는 방법은 열어 둔다.
   3. Einstein Arena의 포럼·leaderboard·verifier와 DS Gym의 실행 계층이 이 원리를 구체화한다.

2. 여러 에이전트의 결과가 누적되며 집단 지능이 생긴다

   1. 한 에이전트가 제시한 해법은 다른 에이전트가 검토하고 변형하는 재료가 된다.
   2. 서로 다른 persona와 접근법이 같은 문제에 투입되어 탐색의 다양성이 커진다.
   3. 경쟁은 더 좋은 점수를 향한 압력을 만들고, 협력은 실패와 성공의 정보를 전체에 퍼뜨린다.

3. 검증 가능한 목표가 창의성을 실용적 결과로 바꾼다

   1. verifier가 없으면 자유로운 생성은 과학적 유효성이나 시스템 성능으로 확인되기 어렵다.
   2. deterministic verifier와 실행 benchmark는 창의적인 아이디어를 재현 가능한 점수로 연결한다.
   3. 604-sphere 구성, 2배 이상 빠른 production kernel, 실행 검증 trajectory가 모두 그 결과다.

6.3. 최종 메시지와 자료

1. 핵심 결론은 설계 대상의 이동이다

   1. 사람은 더 이상 모든 에이전트 행동을 workflow로 미리 작성하는 데만 집중해서는 안 된다.
   2. 문제·자원·규칙·검증·보상을 갖춘 환경을 만들면 에이전트가 스스로 협력하고 경쟁하며 더 어려운 문제를 해결할 수 있다.
   3. 발표자는 이런 적절한 설계가 기존 workflow가 제한하던 창의성과 collective intelligence를 해방한다고 정리한다.

2. 참고 논문을 통해 상세 내용을 확장할 수 있다

   1. 발표 말미에는 이 환경과 실험을 더 자세히 설명하는 연구 논문들이 참고 자료로 제시된다.
   2. 마지막 인사 뒤 청중의 박수와 음악으로 발표가 끝난다.
   3. 별도의 청중 Q&A는 자막에서 확인되지 않으며, 본문은 발표자의 사례 설명과 종합 결론으로 마무리된다.

---

주요 발언 모음

“우리는 workflow와 harness를 설계하는 일에서 environment를 설계하는 일로 이동하려 한다.”

“환경은 에이전트가 어떻게 일할지를 정하는 것이 아니라, 에이전트가 어디서 일할지를 정해야 한다.”

“에이전트가 더 강력해질수록 workflow를 설계하려는 시도는 에이전트의 능력과 창의성을 제한할 수 있다.”

“적절하게 설계된 환경은 기존 workflow가 제한하던 것보다 훨씬 더 많은 창의성과 집단 지능을 에이전트에서 끌어낼 수 있다.”

“단일 에이전트가 이 문제를 혼자 해결한 것이 아니라, 여러 에이전트가 서로의 해법을 가져와 개선하고 최적화했다.”

“11차원에서 604개의 구를 서로 겹치지 않게 구성했다.”

“기존 데이터 사이언스 benchmark에서는 데이터셋을 전혀 보지 않고도 20~50%의 태스크를 풀 수 있었다.”

“실행으로 검증된 trajectory를 이용하면 노트북에서도 실행할 수 있는 작은 open-source model을 fine-tune할 수 있다.”

---

핵심 데이터 & 수치

• 영상 길이: 16분 55초이며, 0:00부터 environment 설계, 1:54부터 Einstein Arena, 5:19부터 kissing number, 9:06부터 GPU kernel, 10:57부터 DSGym을 설명한다.
• Arena 출시: 발표자는 2026년 초 3월경 Einstein Arena를 공개했다고 설명한다.
• 초기 과학 성과: 출시 후 몇 주 안에 에이전트가 당시 최선의 해법을 넘어선 문제를 11개 발견했다.
• 1차원 kissing number: 중심 구 양옆에 놓는 구가 2개이므로 2다.
• 2차원 kissing number: 중심 원 주위에 놓는 원이 6개다.
• 11차원 기록의 기준: 발표에서 1980년대 기준 440개, 이후 큰 구성 582개, 2022년 592개, 2023년 DeepMind 593개로 설명한다.
• Arena의 11차원 결과: 협업 에이전트가 며칠 만에 서로 겹치지 않는 구 604개를 구성했다.
• 공학적 연결: 높은 차원의 sphere packing은 정보 전송용 coding system과 error-correction code 개선에 연결된다.
• GPU kernel 성능: page attention 등을 포함한 일부 kernel에서 이전 state-of-the-art보다 2배 초과(>2×) 속도 향상이 나왔다.
• 실제 배포: 에이전트가 만든 improved kernel이 Together AI production에서 사용된다.
• 기존 DS benchmark shortcut: 데이터에 접근하지 않고도 **최대 20~50%**의 태스크를 해결할 수 있었다.
• DSGym 규모: 12개 초과 태스크가 수십 개 과학 도메인, biology·physics·economics, 다양한 데이터 타입과 modality를 포괄한다.
• Frontier model 성능: DS Gym 태스크에서 기존 frontier model도 자주 50% 미만의 accuracy를 기록한다.
• 실행 인프라: 에이전트는 여러 Docker container를 띄워 알고리즘을 병렬 실행할 수 있다.
• 로컬 실행: 검증 trajectory로 fine-tune한 소형 open-source model은 laptop과 개인용 computer에서 실행할 수 있다.

---

결론 및 시사점

1. AI 에이전트의 성능은 모델만으로 결정되지 않는다

   1. 동일한 모델도 어떤 문제, 도구, 검증기, 보상, 사회적 상호작용을 제공하는 환경에 놓이느냐에 따라 결과가 달라진다.
   2. Agent engineering의 핵심 경쟁력은 prompt와 workflow를 더 복잡하게 만드는 것에서 환경의 질을 높이는 것으로 이동할 수 있다.

2. 협업·경쟁·검증을 하나의 루프로 설계해야 한다

   1. 포럼은 실패와 노하우를 공유하게 하고, leaderboard는 더 나은 결과를 향해 경쟁하게 한다.
   2. deterministic verifier는 이 과정이 인기나 말솜씨가 아니라 실제 해법의 품질을 기준으로 작동하게 한다.
   3. 이 세 요소가 Kissing Number의 604개와 GPU kernel의 2배 이상 속도 향상을 가능하게 했다.

3. 오픈 사이언스는 에이전트의 누적 작업 공간이 될 수 있다

   1. 사람 연구자가 큐레이션한 문제와 검증 규칙을 공개하면 전 세계 에이전트가 같은 문제에 참여할 수 있다.
   2. 모든 제출물과 개선 lineage가 공개되면 실패가 다음 탐색의 자원이 된다.
   3. 단일 연구팀이나 단일 모델의 능력을 넘어서는 집단적 발견을 지속적으로 축적할 수 있다.

4. Benchmark는 실제 사용과 검증을 포함해야 한다

   1. 데이터 사이언스 문제를 데이터 없이 풀 수 있다면 높은 점수는 능력을 잘못 측정한다.
   2. DS Gym처럼 코드 실행, 데이터 접근, 결과 검증을 묶어야 agent가 진짜 분석을 수행했는지 확인할 수 있다.
   3. benchmark 제작자는 shortcut 비율을 먼저 측정하고, 사람 전문가의 검토와 독립적인 실행 검증을 포함해야 한다.

5. 실행 검증 데이터는 작은 모델의 실용성을 높인다

   1. 성공한 자연어 답변보다 실제로 실행되고 검증된 trajectory가 더 강한 훈련 신호가 된다.
   2. 이 자료로 fine-tune하면 작은 open-source model도 복잡한 데이터 사이언스 작업을 수행할 수 있다.
   3. 클라우드 frontier model에만 의존하지 않고 노트북에서 실행 가능한 전문 에이전트를 만들 수 있다.

6. 다음 AI 시스템의 단위는 ‘모델’이 아니라 ‘환경’이 될 수 있다

   1. 모델과 도구, 그 위의 agent와 workflow를 지나 인센티브·자원·검증을 갖춘 environment가 다음 설계 단위로 부상한다.
   2. 설계자는 에이전트의 모든 행동을 예측하려 하기보다 목표와 제약을 명확히 정의하고 예상 밖의 협업을 허용해야 한다.
   3. James Zou의 사례는 집단 에이전트 지능이 추상적 구호가 아니라 수학 기록, production kernel, 데이터 사이언스 모델로 측정될 수 있음을 보여 준다.

핵심 요약 (20줄)

James Zou는 Together AI와 Stanford의 협업으로 AI 에이전트가 새로운 과학적 발견을 만들도록 환경을 설계한다.

기존 AI 시스템은 에이전트의 행동 순서와 도구 사용법을 정하는 workflow와 harness에 의존한다.

James Zou는 에이전트가 강력해질수록 고정된 workflow가 능력과 창의성의 상한선이 될 수 있다고 지적한다.

환경(environment)은 에이전트의 작업 방법 대신 활동 공간과 목표, 인센티브, 기반시설, guardrail, 자원을 정의한다.

Einstein Arena는 전 세계 에이전트가 공개된 과학 문제에 협력하고 경쟁하는 agent-native 공간이다.

Einstein Arena는 인간의 직접 진입을 막기 위해 참여자가 AI 에이전트임을 증명하는 puzzle을 먼저 풀게 한다.

Arena의 문제는 인간 연구자에게 의미가 있고 결정론적 verifier로 해법 품질을 측정할 수 있도록 큐레이션된다.

에이전트는 discussion forum에서 질문과 실패 경험을 공유하고 leaderboard에서 실시간 점수로 경쟁한다.

Arena는 출시 후 몇 주 안에 기존 인간 및 전문 AI 해법보다 나은 결과를 11개 문제에서 만들었다.

Kissing number 문제는 중심 구와 서로 겹치지 않게 접하는 주변 구의 최대 개수를 찾는 문제다.

11차원 kissing number의 기록은 582개에서 2022년 592개, 2023년 593개로 높아진 뒤 장기간 정체됐다.

Einstein Arena의 협업 에이전트는 며칠 만에 11차원에서 겹치지 않는 구 604개를 구성했다.

604개 구성은 단일 GPT나 frontier model의 독립적 풀이가 아니라 여러 에이전트의 제출물 lineage를 이어받은 결과다.

높은 차원의 sphere packing은 정보 전송용 coding system과 error-correction code 개선으로 이어질 수 있다.

같은 Arena 구조는 GPU kernel의 compile, benchmark, test, verify 결과를 실시간 leaderboard로 평가하는 데 적용됐다.

profiling, memory consumption, precision, tensor computation을 맡은 서로 다른 persona의 에이전트가 kernel을 협업 최적화했다.

에이전트가 만든 page attention 등의 kernel은 이전 state-of-the-art보다 2배 이상 빨라졌고 Together AI production에 배포됐다.

DSGym은 다양한 데이터셋과 코드를 통합 실행해 데이터 사이언스 에이전트를 평가하고 훈련하는 환경이다.

기존 data science benchmark의 태스크 최대 20~50%는 데이터셋을 보지 않고도 풀리는 shortcut 문제를 보였다.

DSGym은 논문과 Kaggle에서 검증 가능한 태스크를 만들고 실행 검증 trajectory로 노트북에서도 돌아가는 소형 open-source model을 fine-tune한다.