1. 핵심 주장 (What)
코딩 에이전트는 이미 "구현" 자체는 잘 해낸다. 문제는 열린 결말(open-ended)에 장기 호라이즌(long-horizon)을 가진 과학적 태스크에서는, 에이전트가 어느 지점에 이르면 성능이 saturate(정체)된다는 것이다. 에이전트는 코드를 짜고 실험을 대량으로 돌리는 데는 능숙하지만 "다음에 뭘 시도해야 하는가"라는 아이디어, 즉 리서치 테이스트(research taste)가 고갈된다. 반면 실력 있는 인간 연구자, 특히 상위 1% 연구자는 시간이 지나도 계속 더 나은 가설을 만들어내며 성능을 끌어올린다.
발표자는 이 격차의 핵심이 "가설 생성(hypothesis generation)" 능력에 있다고 본다. 과학적 방법론(관찰 → 질문 → 가설 → 실험 → 구현 → 학습 → 반복)의 사이클에서, 실수로부터 배우고 기억하는 부분은 프롬프트/문서를 잘 정리하는 것만으로도 상당히 해결되지만, 좋은 가설을 만들어내는 부분은 여전히 병목이다. 이를 해결하기 위해 발표자는 "문제를 계층적으로 명시적으로 분해"하는 트릭을 제안하고, Radicait에서 실제 의료영상 AI 프로젝트에 적용한 두 가지 사례(모델 아키텍처 탐색, 이미지 정합/registration)로 이를 보여준다.
2. 근거와 사례 (Why/How)
출발점 — 오리지널 "auto researcher" 개념 Andrej Karpathy의 GitHub 레포에서 나온 개념으로, ML 모델의 특정 메트릭을 찾아 에이전트가 코드를 최적화하며 에러를 최소화하는 "힐 클라임(hill climb)" 방식이다. 많은 코딩 태스크에서는 이 방식이 잘 작동하지만, 문제가 열려있고 장기적일수록 에이전트는 특정 수준에서 정체된다.
Radicait의 실제 문제 — in-silico PET CT 스캔에서 PET 스캔(양전자 방출 단층촬영) 이미지를 생성하는 프로젝트다. 예를 들어 폐에 결절(nodule)이 있을 때 이것이 암인지 판별하려면 PET 스캔이 필요한데, 이는 시간이 오래 걸리고 번거로운 검사다. ML 이미지 변환(translation) 모델이 신체 구조를 학습해서, 특정 조직이 방사성 추적자를 얼마나 흡수할지(종양일수록 더 많이 흡수) CT만으로 추론해 PET과 유사한 이미지를 생성한다.
이 전체 문제는 2~10년짜리 장기 리서치 과정이며, 이를 여러 단계로 쪼개야 하고 각 단계 자체가 다시 하나의 루프다. 발표에서는 그 중 "ML 모델 학습" 단계에 초점을 맞춘다.
힐 클라임의 한계 — 실제 Codex 실행 사례 인코더-디코더(GAN 유사) 구조로 CT를 인코딩해 PET으로 디코딩하는 모델을 학습시킬 때, 초기 아키텍처와 데이터셋, 메트릭(합성 PET과 실제 PET 간 이미지 충실도 등)을 설정하고 나면, 에이전트가 이를 개선하려 시도한다. 실제 Codex 실행 로그를 보면 반복(iteration)을 거치며 개선을 시도하지만 일부는 막다른 길에 부딪히고, 결국 특정 지점에서 더 이상 나아지지 않는 정체(desaturate) 상태에 도달한다.
구체적 예: 초기 모델은 CT 슬라이스를 채널로 쌓은 "2.5D" 방식(2D 컨볼루션을 채널 방향으로 스택)이었다. 일반적인 ML 에이전트는 하이퍼파라미터를 조정하거나 이미 알고 있는 익숙한 방법을 만지작거릴 뿐, "3D 컨볼루션으로 통째로 바꿔보자" 같은 근본적인(radical) 아이디어는 스스로 내놓지 못한다. 발표자는 실제로 루프 도중 직접 "이런 아이디어는 어때?", "저 논문은 뭐라고 하지?" 같은 개입을 해야 했다.
3. 구체적 내용 (Details)
트릭: 명시적 계층적 문제 분해(Hierarchical Decomposition)
Chain-of-Thought의 단계별 사고와 비슷하지만, 이를 "명시적인 액션"으로 만드는 방식이다.
- 최상위 문제 정의: 예를 들어 "폴리머 결절 CT 패치를 등가의 PET으로 변환하라"는 최상위 목표를 명시한다.
- 도메인별 하위 컴포넌트로 분해: 데이터, 핵심 학습(아키텍처), 학습 손실함수(training loss), 운영적 측면(ML 모델링), 메트릭/증거, 주변 스크립트(데이터 준비 등) 등으로 나눈다.
- 자동 유도: 이 계층 구조 자체도 프롬프트 하나로 유도할 수 있다. 코딩 에이전트에게 "이 코드베이스를 훑어보고 서로 연결된 문서 계층을 만들어라"고 지시하면 된다.
- 시각화: 이렇게 생성된 문서들을 Obsidian 그래프로 보면, 레벨1(README/문제 정의) → 레벨2(도메인별 문서, 예: 모델 아키텍처) → 레벨3(하위 컴포넌트) → 실제 코드로 이어지는 구조가 나타난다. 각 문서는 단순하게, 해당 계층 수준의 내용만 기술한다.
계층 구조를 활용한 가설 생성
이 계층 구조가 있으면, 에이전트는 단일 평면적 최적화 루프 대신 계층을 따라 단계적으로 사고하며 각 컴포넌트를 개선할 아이디어를 낼 수 있다. "여기 코드베이스가 있고 목표가 있으니 최적화하라"고만 하면 (Karpathy의 원래 방식처럼) 결국 정체되지만, 가설 생성 과정을 거치면 적대적(adversarial)이면서도 협력적(collaborative)인 방식으로 작동할 수 있다.
이 방식으로 예를 들어 100개의 서로 다른 해법 후보를 만들어낼 수 있다. 모든 컴포넌트에 대해 각각 수정을 시도하는 프로세스가 있기 때문에, 탐색 범위가 훨씬 포괄적(comprehensive)이 된다. 실제로 이 방식을 통해 "2D 대신 3차원(3D) 구조를 만들자"는, 원래라면 나오지 않았거나 놓쳤을 근본적인 아이디어가 도출됐다. 생성된 계획은 다시 다른 에이전트/모델과 적대적 혹은 협력적으로 리뷰할 수 있다.
전체 루프: 코드베이스 + 메트릭 → 목표 달성했는가? → 아니면 필요한 변경을 가설화(hypothesize) → 구현 → 반복. 더 나은 가설을 만들기 때문에 이 루프가 더 빠르고 더 좋은 결과로 수렴한다.
두 번째 사례: 이미지 정합(Registration)
CT 스캔(회색)과 PET 스캔(색상, 대사 활동 표시)은 서로 다른 시점에 촬영되기 때문에 처음엔 정렬(align)되어 있지 않다. 호흡, 신체 변화, 환자의 움직임, 스캐너 차이 등으로 인해 두 이미지를 정렬하는 과정(registration)도 또 다른 최적화 루프다. 여기엔 정량적/정성적 메트릭이 뒤섞여 있고, 어떤 버그나 이슈가 실패의 원인인지 파악하기 어렵다.
기존에는 과학자가 직접 이미지를 하나씩 눈으로 확인하며 품질 관리(QC)를 했다 — 예를 들어 "폐 마스크가 제대로 씌워졌는가?", "스캔이 적절히 잘렸는가(cropped/truncated)?" 등. 발표자는 이 루프에 "추가 스킬"을 장착하는 방식을 제안한다.
- 이미지 리뷰: 더 나은 멀티모달 능력을 가진 모델(예: Gemini)을 호출해 이미지를 리뷰시키고, 정렬이 제대로 됐는지 의견을 받는다.
- 가설 생성/비평: 변경 사항에 대한 가설 생성이나 비평(critique)에는 추론 능력이 더 뛰어나고 테스트타임 컴퓨트가 큰 모델(발표에서 "5.5"급 모델 언급)을 사용한다. Peter Steinberger의 "Oracle CLI" 툴을 언급하는데, 이는 코드와 데이터를 패키징해서 GPT-5.5 Pro API로 보내는 방식이다. 이를 통해 가설 생성뿐 아니라 "이 구현이 실제로 효과가 있었는가"에 대한 비평의 질도 눈에 띄게 좋아졌다고 한다.
매 루프마다 "우리가 이걸 구현했고, 결과는 이랬다, 말이 되는가, 다음엔 뭘 해야 하는가"를 묻는 과정이 핵심이다.
4. 시사점 및 실행 포인트 (So What)
- 구현은 이미 상당 부분 해결된 문제다. 특히 문제가 시뮬레이션된/박스 안 환경에서 처리 가능한 경우엔 더욱 그렇다.
- **과학의 진짜 큰 병목은 "더 나은 관찰(observation)"**이다. 현재 멀티모달 모델은 과학적 이미지/데이터에 대한 이해가 매우 부족하다 — 예를 들어 오늘날 어떤 LLM도 CT 슬라이스에서 아주 작은 결절 하나의 존재를 잘 잡아내지 못한다. 단순히 과학 이미지/데이터로 학습되지 않았기 때문이다. 이는 향후 모델을 만드는 사람들에게 큰 기회 영역 — 과학적 관찰을 위한 파인튜닝/조정이 필요하다.
- 가설 생성 트릭은 Chain-of-Thought의 재현에 가깝다. CoT가 GPT-4 같은 베이스 모델 위에서 추론 능력을 끌어올렸던 것처럼, 이 계층적 분해 트릭도 현재 모델 위에 얹는 동일한 종류의 트릭이다. 향후 모델이 문제를 스스로 더 잘 구획화(compartmentalize)하고 분해하도록 포스트트레이닝되면, 이런 수작업 트릭의 필요성은 점점 줄어들 것으로 예상한다.
- 지금 당장 적용 가능한 실행 포인트: 좋은 모델이 부족한 현재 시점에서는, 문제를 명시적인 단계로 계층 분해하고 각 컴포넌트별로 개선을 반복하는 방식이 유효하다. 이는 테스트타임 컴퓨트를 구조적으로 확장하는 방법이자, 더 많은 토큰을 문제에 투입하며 루프를 계속 이어가는 방법이다.
- 실무 적용 팁: (1) 코딩 에이전트에게 코드베이스를 계층 문서로 분해시키고 Obsidian 등으로 시각화, (2) 단일 최적화 루프 대신 계층별로 가설을 대량 생성(예: 100개 후보), (3) 이미지/데이터 리뷰에는 멀티모달 모델, 가설 비평에는 고성능 추론 모델을 별도 스킬로 루프에 장착.
핵심 요약 (20줄)
- Radicait의 Sina Shahandeh가 "과학적 태스크를 위한 자율 에이전트"를 주제로 발표했다.
- 코딩 에이전트는 구현은 잘하지만, 열린 결말·장기 호라이즌 과학 문제에서는 특정 지점에서 성능이 정체(saturate)된다.
- 정체의 원인은 코드 실력이 아니라 "다음에 뭘 시도할지"에 대한 아이디어, 즉 리서치 테이스트의 고갈이다.
- 상위 1% 인간 연구자는 시간이 지나도 계속 더 나은 가설을 내며 성능을 끌어올린다.
- 과학적 방법론(관찰-질문-가설-실험-학습) 루프에서 기억/학습 부분은 문서화로 상당히 해결되지만, 가설 생성이 진짜 병목이다.
- 사례: CT 스캔에서 PET 스캔 이미지를 생성하는 in-silico PET 프로젝트(폐 결절의 암 여부 판별에 활용).
- 이런 장기 리서치는 여러 단계로 쪼개지고, 각 단계 자체가 다시 최적화 루프다.
- 실제 Codex 실행에서 모델은 반복 개선을 시도하다 결국 특정 수준에서 정체됐다.
- 예: 초기 모델은 CT 슬라이스를 채널로 쌓은 "2.5D" 방식이었는데, 일반 에이전트는 3D 컨볼루션 같은 근본적 아이디어를 스스로 내지 못했다.
- 해결 트릭은 "명시적 계층적 문제 분해"—Chain-of-Thought과 비슷하되 명시적 액션으로 구현한다.
- 최상위 문제를 정의하고, 데이터·아키텍처·손실함수·운영·메트릭·주변 스크립트 등 도메인별로 분해한다.
- 이 계층 구조는 코딩 에이전트에게 프롬프트 하나로 자동 생성시킬 수 있고, Obsidian 그래프로 시각화된다.
- 계층을 활용하면 단일 최적화 루프 대신 각 컴포넌트별로 가설을 만들어 예컨대 100개 해법 후보를 생성할 수 있다.
- 실제로 이 방식으로 "2D 대신 3D 구조로 바꾸자"는 근본적 아이디어가 도출됐다.
- 생성된 계획은 다른 에이전트/모델과 적대적 또는 협력적으로 다시 리뷰할 수 있다.
- 두 번째 사례는 CT-PET 이미지 정합(registration)—호흡, 움직임, 스캐너 차이로 어긋난 두 이미지를 정렬하는 루프다.
- 여기엔 멀티모달 모델(예: Gemini)을 이미지 리뷰어로, 고성능 추론 모델(예: GPT-5.5급, Oracle CLI 경유)을 가설 비평자로 스킬처럼 장착했다.
- 매 루프마다 "무엇을 구현했고 결과가 어땠는지, 다음엔 뭘 할지"를 묻는 과정이 핵심이다.
- 결론: 구현은 이미 상당히 해결됐지만, 과학의 진짜 병목은 과학 이미지/데이터에 대한 멀티모달 모델의 관찰 능력 부족이다.
- 계층적 분해 트릭은 CoT처럼 현재 모델의 한계를 보완하는 임시 장치이며, 향후 모델이 스스로 문제를 잘 분해하게 되면 필요성이 줄어들 것으로 전망했다.