Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

URL: https://www.youtube.com/watch?v=3ZMUiFaQ3qg 날짜: 2026-08-01 채널: aiDotEngineer

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==코드가 소프트웨어 작업에 "검증 가능한 실행 기판(verifiable substrate)"을 제공했듯, 생물학에서는 데이터 분석(data analysis) 코드가 동일한 역할을 할 수 있다== — 이 프레임을 바탕으로 Latch는 생물학 에이전트를 위한 벤치마크(SpatialBench 등)를 만들고, 프론티어 모델의 실제 과학 역량을 끌어올리는 플라이휠을 구축했다.

• 생물학 실험 데이터는 입자가속기 다음으로 빠르게 증가하는 데이터 볼륨을 가진 도메인이며, 단일 실험 결과물이 일반 노트북 저장 용량을 초과할 정도로 크다
• 현재 프론티어 모델들은 "생물학을 아는 것"과 "코드를 짜는 것" 사이의 능력, 즉 실제 데이터에서 과학적 통찰을 추출하는 능력이 결여되어 있다
• Latch는 SweetBench(SWE-bench)의 구조를 차용해 결정론적 Python 그레이더 기반의 SpatialBench를 만들었고, 이후 인간 검증·장기 과업·루브릭 기반 평가로 확장했으며, 최근에는 Anthropic의 Claude 모델카드에도 이 벤치마크들이 채택되고 있다

발표자 Kenny Workman은 Latch의 공동창업자 겸 CTO로, Latch를 "벤치마크와 에이전트 엔지니어링을 위한 버티컬 AI 랩"이라고 소개한다. 이 발표는 왜 생물학에 에이전트가 필요한지에 대한 동기부여로 시작해, Latch가 실제로 벤치마크를 설계·검증·확장해온 전체 여정을 다룬다.

---

1. 생물학에서 에이전트가 필요한 이유: 데이터 폭증과 "코드로서의 생물학" 프레임

1.1. 생물학 실험 데이터의 기하급수적 증가

1. 데이터 증가 곡선

   1. 로그-선형 증가: 발표자가 몸담은 도메인에서 익숙한 그래프로, 수년간 생물학에서 생성된 데이터의 로그-선형 증가 곡선을 보여준다
   2. 입자가속기 다음으로 빠른 증가율: 다른 어떤 과학 도메인보다도(입자가속기 계열 장비 제외) 빠르게 실험 데이터 볼륨이 증가하고 있다

2. 증가를 견인하는 3대 실험 기법

   1. 단일세포 생물학(single cell biology): 세포를 분리·파쇄해 RNA를 측정. 실행 1회당 2~6테라바이트 산출
   2. 공간 생물학(spatial biology): 단일세포와 같은 방식이지만 공간 해상도가 추가되어, 조직 위에서 RNA가 기하학적으로 어떻게 퍼져 있는지 볼 수 있다. 실행 1회당 7테라바이트 산출 (발표의 다음 섹션에서 핵심 초점이 됨)
   3. 프로테오믹스(proteomics): 단백질을 측정하는 다양한 기법들의 넓은 범주. 앞의 두 기법보다는 데이터량이 적어(수백 기가바이트 수준) 상대적으로 덜 두드러지지만 여전히 중요

3. 실무적 함의

   1. 개인 저장 한계 초과: 단일 실험의 산출물이 과학자가 일반 소비자용 노트북에 안전하게 저장할 수 있는 용량을 넘어서는 경우가 많다
   2. 가속화 전망: 분자 포집(molecular capture) 방식을 지배하는 물리·화학 법칙들이 향후 수년간 이 처리량이 더욱 급격히 늘어날 것을 시사한다

1.2. "코드로서의 생물학" — 검증 가능성 프레임

1. 현대 생물학 연구의 공통 구조

   1. 모델 선택 → 데이터 생성 → 처리 → 해석 → 주장: 생물학적 모델(발표자가 강조하길, 청중이 익숙한 머신러닝 모델과는 다른 의미)을 선택하고, 거기서 데이터를 생성하고, 처리하고, 선행 문헌 맥락에서 창의적으로 해석해 주장을 만든다는 느슨한 구조를 대부분의 현대 논문이 따른다
   2. 신호 탐색으로서의 실험: 실험은 본질적으로 "잡음의 바다에서 신호를 찾는(panning) 작업"이 된다

2. 코드/데이터 분석이 검증 가능한 기판이 되는 이유

   1. 코드가 소프트웨어에 준 것: 코드는 본질적으로 검증 불가능해 보이는 복잡한 소프트웨어 작업에 검증 가능한 기판을 제공했다
   2. 생물학에서도 동일한 역할: 데이터 분석 스캐폴드 역시 생물학에서 실행 가능한 기판이 되어, 모델을 훈련시키고 자연스럽게 벤치마크·역량 향상 경로를 만들 수 있게 한다 (발표자는 이 주장을 자신의 블로그에 더 깊이 다뤘다고 언급하며, "액면 그대로 받아들이지 말고 더 찾아보라"고 덧붙임)

---

2. Latch의 배경과 에이전트 제품으로의 전환

2.1. 회사 연혁

1. 창업 배경

   1. 버클리에서 5년 전 창업: 발표자가 20세일 때 창업. 처음엔 바이오테크·제약회사를 위한 데이터 툴 벤더였다
   2. 초기 사업: 대규모 실험 데이터를 서비스 형태로 저장·변환·정리해주는 사업. 여러 제품을 시도하며 탐색

2. 사업 방향 전환 (최근 2년)

   1. 바이오테크·제약사에서 키트 제조사로: 앞서 언급한 실험 키트(단일세포, 공간, 프로테오믹스 등)를 만드는 회사들 쪽으로 고객을 옮겨감
   2. 화이트라벨 소프트웨어 패키징: 소프트웨어를 패키징해 키트 제조사들이 과학자들에게 직접 제공하도록 도움 — 과학자의 데이터 분석을 지원

2.2. 에이전트 프로토타입의 등장

1. 에이전트와의 자연스러운 접점

   1. 인프라 컴포넌트가 도구(tool)로 전환: 시간이 흐르며 에이전트가 기존 인프라 컴포넌트를 도구로 사용하고, 루프-컨텍스트 방식으로 상호작용하는 구도가 자연스럽게 형성됨
   2. 도구 실행 시간의 특수성: 일반적인 에이전트 도메인과 달리, 생물학 도메인의 "도구"는 실행에 며칠에서 몇 주가 걸릴 수 있다 (발표자가 "진지하게 하는 말"이라고 강조)

2. 작년 여름부터 작동하기 시작한 에이전트

   1. 코딩 모델 활용: 당시 기준 생물학 과업에 대해 진지하게 사후훈련(post-trained)된 적이 없던 코딩 모델들을 가져다 씀
   2. 제품 형태: 다른 에이전트 제품들과 비슷한 채팅 인터페이스 + 대시보드 생성 + 외부 컴퓨트로의 작업 디스패치
   3. 실사용 예시: 암 조직 생검(biopsy)에서 공간 측정을 수행한 대용량 실험 데이터를 가져와, 과학자가 반복적으로 질문(예: "종양의 악성/비악성 부위 사이에 어떤 유전자가 과발현되는가?")하며 답을 찾아가는 방식
   4. 초기 신호: 결과 품질은 나빴지만, 초기 단계에서 이미 "작동할 조짐"이 보였고, 에이전트형 생물학이 코드와 비슷한 궤적을 그릴 수 있다는 확신이 생김

3. Anthropic 사례 인용

   1. Claude Science 발표 슬라이드 차용: 발표자는 전날 있었던 Anthropic의 Claude 과학 발표에서 슬라이드를 그대로 가져와, "허술했던 엔지니어가 점점 나아지고, 역량이 향상되면서 팀 단위로 작업을 분배할 수 있게 되는" 패턴이 과학에서도 똑같이 나타날 것이라 전망
   2. 프론티어 모델의 현재 한계: 그럼에도 당시(그리고 지금도) 프론티어 모델은 실제 업무를 믿고 맡길 수 없다. "생물학을 아는 것"과 "코드를 짜는 것" 사이에 필요한 능력, 즉 실세계 데이터에서 과학적 통찰을 추출하는 능력이 빠져 있다. 코드는 이 작업의 한 구성요소일 뿐이며, 데이터 분석과 도메인/과학적 추론이 함께 필요하다

---

3. Spatial Biology를 첫 타겟으로 삼은 이유와 기술적 배경

3.1. Spatial Biology를 선택한 이유

1. 기술적으로 그린필드(green field)였음

   1. 기존 고객 기반 활용: 이미 관련 고객이 많았음
   2. 측정이 곧 진보를 보여주는 아름다운 사례: 발달 중인 마우스 배아처럼 생물학적 현상이 눈으로 확인 가능한 형태로 펼쳐짐
   3. 데이터 캡처·분석 과정을 깊이 이해해야 했음: 좋은 에이전트를 만들려면 데이터가 어떻게 캡처되고 분석되는지 내부까지 파고들어야 했다

2. 캡처 기술의 다양성

   1. 화학·광학·반도체·물리학을 아우름: 공간 생물학의 다양한 캡처 기술 계통도(tree)를 소개하며, 각 분기(branch)가 특정 분자를 측정하는 방법을 알아내기 위한 수십 년에 걸친 누적 연구에서 파생되었음을 강조
   2. 구체적 예시 — 시퀀싱 기반 공간 측정(sequencing-based spatial): DNA 조각이 붙은 작은 비드(bead)들이 깔린 슬라이드를 사용. 조직 절편(예: 종양 조각)을 그 위에 올리면 조직 내 모든 RNA가 포집되고, 정밀한 기하학적 해상도로 RNA의 원래 위치를 알 수 있게 됨. 결과물은 거대한 숫자 행렬 + 고해상도 이미지 형태로 나옴

3.2. 분석 파이프라인의 복잡성과 벤치마크의 필요성

1. 표준화되지 않은 분석 단계

   1. 높은 가변성: 원시 데이터에서 원하는 최종 결과까지 가려면 일련의 단계를 거쳐야 하는데, 이 단계들은 기술 유형·조직·질병 맥락에 따라 매우 다양하게 변한다
   2. 분야 내 합의 부재: 각 단계에 대해 필드 전체의 컨센서스가 딱히 없다

2. 기존 벤치마크의 공백

   1. Q&A 중심 평가의 한계: 당시 존재하던 벤치마크들은 이 카테고리 작업에 관련된 과업을 측정하지 못했다 — 대부분 학술적인 Q&A 형태였거나, 특정 실험 유형에 충분히 초점이 맞춰져 있지 않았다
   2. 실증 예시: 발표자는 당시 Anthropic 모델카드의 실제 스크린샷을 보여주며 이 공백을 지적

---

4. SpatialBench 벤치마크 설계

4.1. 기본 구조

1. 개요

   1. 작년 12월 공개: 146개 문제로 구성
   2. 범위: 앞서 언급한 다양한 실험 키트들과, 앞서 언급한 다양한 작업 유형들을 아우르도록 설계(시도)됨

2. 평가 단위(evaluation) 구성

   1. 데이터 노드: 숫자 행렬, 고해상도 이미지 등 하나 이상의 데이터 노드
   2. 과업 프롬프트: 어떤 과학적 목표를 신중하게 기술한 프롬프트
   3. 그레이더 설정 + 결정론적 그레이더: Python 함수 형태의 결정론적 채점기. 실제로는 상당량의 JSON 형태로 표현됨

3. SWE-bench에서 빌린 구조

   1. 명시적 벤치마킹: "SweetBench(SWE-bench)와 매우 비슷해 보인다"고 발표자가 직접 언급 — 초기 아이디어를 다수 차용해 최대한 확장하려 시도했음

4.2. 좋은 생물학 평가의 3대 속성

1. 검증 가능성(verifiable)

   1. 함수로 성공 조건 확인 가능: 코드 벤치마크와 마찬가지로 성공 조건을 함수로 체크할 수 있어야 함. 이 원칙은 변하지 않음

2. 내구성(durability) — 생물학 특유의 난제

   1. 명확한 정답이 없는 과학의 본질: 과학은 명확한 그라운드 트루스를 허용하지 않는다
   2. 부주의한 정답 구성의 위험: 태스크의 그라운드 트루스를 게으르게 구성하면, 유효한 다른 분석 경로가 정답에 도달했음에도 잘못 실패 처리될 수 있다
   3. 분석 경로 불변성 확보 필요: 분석 경로가 달라져도 변하지 않는 무언가를 근거로 추론해야 함

3. 암기 답변 배제

   1. 한 턴 답변 금지: 모델이 한 턴 만에 답하지 않도록 설계해야 함
   2. 데이터와의 상호작용 요구: 결론이 데이터와의 실제 상호작용을 필요로 해야지, 암기된 지식만으로 나와서는 안 됨. 실무적으로는 이것이 꽤 어려운 일이었음

4. 활용 성과: 이 원칙들을 통해 어떤 모델이 어떤 맥락에서 이 유형의 작업에 적합한지 많은 것을 배웠고, 고객들에게도 이를 적용함

---

5. 인간 검증(Human Verification)과 장기 과업(Long Horizon) 확장

5.1. 인간 검증 단계

1. 왜 필요했나

   1. 과학은 명확한 정답이 없다: 올해 1월부터 3월경까지 여러 모델 릴리스에 걸쳐 궤적(trajectory) 데이터를 관찰한 결과, 자신들의 가정 상당수가 부실했음을 깨달음
   2. 동료 채점이 최선의 대안: 정답(canonical answer)이 없는 상황에서, 여러 과학자들이 서로의 작업을 채점하게 하는 것이 최선의 대리 지표였음

2. 문제 사례 — "문제 모호성(problem ambiguity)"

   1. 예시 과업: 유전자 리스트를 미세아교세포 활성화(microglial activation)와 희소돌기아교세포 염증(oligodendrocyte inflammation) 두 그룹으로 나누고, 세포에 점수를 매기고, 적절한 반경 내에서 인근 희소돌기아교세포를 찾고, 두 시점 사이 스피어만 상관계수(Spearman correlation)를 계산하라는 과업
   2. 드러난 모호성들: 유전자 리스트를 어떻게 나눌지, 무엇을 "염증 유전자"로 셀지, 데이터를 어떻게 정규화할지, "적절한 반경"이 대체 무엇인지, 선택된 반경 내 카운트를 어떻게 집계할지 — 이 모든 것이 원래 과업 서술에서 열린 선택지로 남아 있었음
   3. 인간 검증을 통해서만 드러남: 이런 문제들은 인간 검증을 거쳐야만 드러나는 "나쁜 태스크"들이었음

3. 부가 사례 — 임의적 수치 임계값

   1. 바이오인포매틱스의 관행적 문제: 많은 사람이 관행적으로 완전히 임의적인 수치 임계값을 QC(품질 관리)에 사용해왔음
   2. 평가 설계의 부수 효과: 코딩과 마찬가지로 평가를 설계하는 과정 자체가, 직접 그 일을 할 때보다 더 엄격하게 사고하도록 강제한다 — 기계에게 가르치려면, 스스로 할 때보다 더 중요하거나 더 내구성 있는 구조를 발견하게 될 수 있음. 이런 임의적 수치 임계값들이 바로 그런 사례로 다수 발견됨

4. 결과: 2차례의 인간 시도(attempts) 라운드를 거쳐 검증된 벤치마크 서브셋을 만들어 공개(publish)함

5.2. 장기 과업(Long Horizon) 확장

1. 왜 확장했나

   1. 지식의 프론티어가 아직 부족함: 생물학 분야에서 지식의 프론티어는 아직 충분치 않다 — 프론티어 랩들이 사후훈련으로 따라잡기 시작하고 있지만, Latch는 계속 앞서 있고 싶었음
   2. 진짜 어려운 실제 작업을 재현하는 벤치마크: "SpaceMuchLonger"(공간 훨씬 더 긴 버전)를 만들어, 실제로 어려운 진짜 작업을 재현하고자 함

2. 실제 생물학 과업의 특징

   1. 지저분함(messy): 다양한 실험 유형을 함께 사용
   2. 워크플로우 전체 사용: 작은 조각이 아니라 전체 워크플로우를 사용
   3. 맥락 의존적 해석: 모든 단계가 실험 설계, 선행 문헌, 원래 목표에 비추어 해석되어야 함

3. 제작 난이도와 목표

   1. 3인 1팀이 1주일: 태스크 하나를 만드는 데 3명으로 구성된 팀이 일주일이 걸림
   2. 재현하려는 것: 논문 전체 결과(results) 섹션 또는 산업 현장에서 신약 프로그램의 go/no-go 결정을 내리는 것과 유사한 수준의 의사결정

4. 구체적 예시 — 전이 니치(metastatic niche) 재구성

   1. 문제 설정: 종양 생검과, 신체 여러 곳으로 퍼진 전이 병변(metastatic lesion) 생검이 여러 개 있을 때, 에이전트가 유전학·mRNA 데이터를 사용해 전이 성장을 처음 "씨 뿌린(seeded)" 종양 부위를 찾아낼 수 있는가?
   2. 활용 목표: 이를 통해 종양의 어느 부위가 유전적으로 더 적합(fit)한지, 어느 부위가 실제 문제를 일으키는지 파악하고, 이를 표적으로 하는 맞춤 치료제를 설계할 수 있음
   3. 현재 성과: 장기 과업 세트의 벤치마크 항목 중 하나이며, 현재까지 어떤 모델도 이 문제를 맞히지 못했다(다만 점점 가까워지고 있음)

5.3. 루브릭(Rubric) 기반 평가로의 확장

1. 필요성

   1. 단순 최종 보상의 정보 부족: 장기 과업 확장에서는 끝에 주어지는 검증 가능한 보상만으로는 정보가 부족(uninformative)함

2. 초크 포인트(choke point) 개념

   1. 분석 경로 트리 개념화: 가능한 분석 경로들의 집합이 일종의 트리를 이룬다고 볼 때, 서로 다른 경로에 대해 불변(invariant)인 노드들이 존재함
   2. 루브릭 구축에 활용: 이 불변 노드들을 태스크 작동 방식에 대한 지식을 이용해 루브릭으로 구축하는 실험을 진행 중

3. 현재 상태

   1. 검증 가능한 결과와의 연관성 발견: 루브릭이 검증 가능한 결과와 연관되어 있다는 것을 발견해 고무적이지만, 수치적으로는 느슨하게만 상관되어 있어 RL이나 벤치마킹에 완전히 신뢰하기는 아직 이름
   2. 아직 갈 길이 많이 남음: 검증 가능성 구조가 앞으로도 지능 향상을 견인할 핵심이라는 확신은 여전히 강함

---

6. 벤치마크 확장: 다른 오믹스 · 신약개발 · 바이오시큐리티

6.1. 외부 채택

1. 프론티어 랩·커뮤니티의 유기적 채택
   1. Anthropic 모델카드 반영: 최근 Anthropic 모델카드에 Latch의 벤치마크들이 포함됨. 전날(발표 하루 전) 있었던 Claude 과학 발표에서 Anthropic의 Eric이 이 벤치마크들을 보여주는 사진을 그대로 인용
   2. 선점 효과: 제품을 조기에 만들고 출시하며 코딩 에이전트를 직접 다뤄본 경험 덕에 남들보다 앞서는 위치를 확보했다고 분석
   3. 사전 통지 없이 채택됨: Anthropic이 미리 알려주지 않고 그냥 채택해서 쓰고, 그걸 보고서야 알게 된다는 점을 흥미로운 사례로 언급

6.2. 다른 오믹스 및 신약개발로의 확장

1. 논문 발표 확대

   1. 다른 실험 유형으로 확장: 공간 생물학을 넘어 단일세포(single-cell), 후성유전체학(epigenomics, RNA와 DNA를 아우름) 등 다른 오믹스 클래스로 벤치마크를 확장
   2. 장기 과업 확장 지속: 이들 각각에 대해서도 장기 과업 확장 버전을 만드는 중

2. 신약개발(drug discovery) 영역 진출

   1. 복잡한 지형 인덱싱 시작: 신약개발이라는 매우 복잡한 지형을 체계적으로 측정하기 시작함
   2. 첫 벤치마크 — 저분자 전임상 약리학(preclinical pharmacology for small molecules): 신약개발 프로그램의 지형을 발견(discovery)부터 개발(development), 전환(translation) 단계까지, 치료 유형과 실험 유형별로 체계적으로 세분화(stratify)하며 조각내어 다루는 중

6.3. 바이오시큐리티(Biosecurity) 신규 영역

1. 팀 구성

   1. 바이오시큐리티 기업 인수: 바이오시큐리티 분야에서 일하던 회사를 인수해 바이오시큐리티 팀을 구성
   2. 협업 발표: American Wetware, 그리고 감시(surveillance) 회사인 Aquid와의 협업을 오늘 아침(발표 당일) 처음 공개함

2. 문제의식 — 프론티어 모델의 취약한 생물학 안전성

   1. 기초 질문에도 답을 회피: 현재 프론티어 모델들에게 미토콘드리아 같은 기초적인 생물학 질문을 하면 답을 회피하는 등, 평가 관점에서 미흡한 부분이 있음(발표자는 이 예시를 사람들이 익숙하게 알아듣기 때문에 사용했을 뿐, 더 깊은 뉘앙스가 있다고 언급)

3. 평가 설계

   1. 루틴 과업(routine task): 실제 과학자가 요청할 법한 평범한 과업들을 시뮬레이션
   2. 레드팀 과업(red team task): 겉보기엔 무해해 보이지만 위험한 구조를 숨긴 과업 — 예: "GFP(발광 단백질)를 박테리아에 클로닝하고 싶다"고 말하지만 실제로는 독소이거나 바이러스를 부트스트랩하는 데 쓰일 수 있는 것

4. 발견한 우려스러운 패턴

   1. 루틴 과업이 압도적으로 더 자주 사용됨: 레드팀 과업보다 루틴 과업이 훨씬 더 빈번하게 (모델에 의해) 사용되는 것으로 나타났는데, 이는 좋은 신호가 아니다
   2. 자원 공개: 프리프린트와 다수의 평가·궤적(trajectory) 데이터를 모아 공개 리소스로 제공 중

---

7. 사업 모델과 결론

7.1. 지속 중인 사업 구조

1. 여전히 활발한 고객 기반

   1. 키트 제조사와의 협업 지속: 실험 키트 제조사들과 계속 협업하며, 이를 통해 어떤 종류의 벤치마크를 만들지 파악
   2. 랩들 간 경쟁 유도: 프론티어 랩들이 Latch의 벤치마크에서 경쟁하도록 유도 — 그러면 그 모델들이 Latch의 제품에서 더 나은 성능을 보이게 됨

2. 플라이휠(flywheel)

   1. 선순환 구조: "제품 사용 → 벤치마크화 → 랩들의 경쟁적 개선 → 제품 성능 향상"으로 이어지는 이 구조가 상당히 보람 있었다고 발표자는 평가
   2. 성장과 채용: 엔지니어링과 사이언스 전 영역에서 공격적으로 채용 중이며, 관심 있는 사람은 발표 후 자신을 찾아달라고 마무리

7.2. 발표자 소개 및 회사 정체성

1. 회사 정체성: "Lab"이라는 단어를 별로 좋아하지 않지만, 사실상 생물학을 위한 리서치 랩처럼 연구와 배포(deployment)를 함께 수행하는 조직이라고 자평

---

주요 발언 모음

"the output of a single experiment can exceed what a scientist can safely store on a consumer laptop in many cases" (단일 실험의 산출물이 과학자가 일반 소비자용 노트북에 안전하게 저장할 수 있는 용량을 넘어서는 경우가 많다)

"just like code provided a verifiable substrate for complex software tasks that are not inherently verifiable, data analysis might do the same thing in bio" (코드가 본질적으로 검증 불가능한 복잡한 소프트웨어 작업에 검증 가능한 기판을 제공했듯, 데이터 분석이 생물학에서 같은 역할을 할 수 있다)

"frontier models cannot be trusted to do real work. They're missing some capability between knowing biology and writing code" (프론티어 모델은 실제 업무를 믿고 맡길 수 없다. 생물학을 아는 것과 코드를 짜는 것 사이에 필요한 능력이 빠져 있다)

"Science does not admit clear ground truth" (과학은 명확한 정답을 허용하지 않는다)

"if you have to teach a machine to do it, you might be picking out some structure that's more important or more durable than what you were doing if you're just doing it on your own" (기계에게 가르치려면, 스스로 할 때보다 더 중요하거나 더 내구성 있는 구조를 발견하게 될 수 있다)

"we found that the routine tasks get used drastically more frequently than the red team tasks, which is not great" (루틴 과업이 레드팀 과업보다 훨씬 더 자주 사용된다는 것을 발견했는데, 이는 좋은 신호가 아니다)

핵심 데이터 & 수치

• 단일세포 실험: 실행 1회당 2~6테라바이트 데이터 산출
• 공간 생물학(spatial) 실험: 실행 1회당 7테라바이트 데이터 산출
• 프로테오믹스: 실행 1회당 수백 기가바이트 산출 (상대적으로 적음)
• SpatialBench: 작년 12월 공개, 146개 문제
• 장기 과업(long horizon) 태스크 제작 비용: 3인 팀이 태스크 1개당 약 1주일 소요
• Latch 창업: 5년 전, 버클리, 발표자 20세 때 창업

결론 및 시사점

1. 생물학은 데이터 폭증 속도가 매우 빠른 도메인이지만, 코드/데이터 분석이 "검증 가능한 실행 기판"이 될 수 있다는 점에서 소프트웨어 에이전트와 유사한 발전 경로를 밟을 잠재력이 있다.
2. 좋은 생물학 벤치마크는 (1) 함수로 검증 가능해야 하고, (2) 서로 다른 분석 경로에도 불변하는 내구성을 가져야 하며, (3) 암기가 아닌 실제 데이터 상호작용을 요구해야 한다 — 이 세 원칙은 SWE-bench류 코드 벤치마크의 원칙을 생물학 도메인에 맞게 확장한 것이다.
3. 그라운드 트루스가 불명확한 과학 도메인에서는 인간(과학자) 간 상호 채점이 최선의 검증 대리 수단이며, 이를 통해서만 태스크 설계의 숨은 모호성(예: "적절한 반경"과 같은 임의적 기준)을 드러낼 수 있다.
4. 장기 과업으로 갈수록 최종 보상만으로는 정보가 부족해지므로, 분석 경로상 불변하는 "초크 포인트"를 활용한 루브릭 기반 평가가 필요해지지만, 아직 검증 가능한 결과와의 상관관계가 느슨해 RL 학습에 전적으로 신뢰하기는 이르다.
5. 벤치마크를 잘 설계하면 프론티어 랩들이 경쟁적으로 채택하게 되고(Anthropic 모델카드 사례), 이것이 다시 자사 제품의 모델 성능 향상으로 이어지는 플라이휠을 만들 수 있다.
6. AI 안전 관점에서, 현재 프론티어 모델은 위장된 위험 요청(레드팀 과업)보다 평범한 루틴 요청에 훨씬 자주 노출되고 있어 바이오시큐리티 리스크에 대한 지속적 평가와 대응이 필요하다.