Weco는 약 2.5년 전 설립된 "오토리서치(autoresearch)" 전문 회사로, 자율 리서치 에이전트 "Aiden"의 실전 성과를 이번 발표에서 공개했다.
2년 전 Weco는 이미 이전 에이전트 "Aide"로 OpenAI의 MLE-bench 논문에서 독립 평가된 최고 성능 자율 ML 엔지니어링 에이전트라는 결과를 낸 바 있다. 당시엔 "오토리서치"라는 용어조차 없었고 "머신러닝 엔지니어링 에이전트"로 불렸다.
Aiden은 그 다음 단계 실험적 프로토타입으로, 공개된 논문과 다른 참가자들의 PR을 읽고, 스스로 실험을 실행하고, 품질 게이트를 통과하면 PR을 제출하는 멀티에이전트 자기개선(self-improving) 시스템이다.
발표의 핵심 질문은 단순히 "에이전트가 벤치마크 순위를 올릴 수 있는가"가 아니라, "오토리서치 에이전트가 인간 커뮤니티가 실제로 인정하고, merge·fork해서 계속 발전시킬 수 있는 결과물을 만들어낼 수 있는가"이다. 즉 로컬 스코어 최적화가 아니라 자신의 작업물을 커뮤니티에 "발행(publish)"하는 에이전트를 만드는 것이 목표였다.
Weco는 OBI가 주최한 "Parameter Golf" 대회(크기·연산 제약 하에서 최고의 언어모델을 학습시키는 경쟁)에 Aiden을 투입했다. 약 1,000명의 ML 엔지니어/연구자가 참여해 2,000개 제출물을 냈고, 그중 오픈 리뷰를 통과해 리더보드에 오른 것은 47개뿐이었다. 이 47개 중 7개가 Aiden 단독 제출물이었다 — 어떤 인간 참가자보다도 2배 이상 많은 기여였다.
2. 근거와 데이터 (Why/Evidence)
리더보드 기록: Aiden은 22일간 실행되며 리더보드 기록 7개를 세웠다. 같은 기간 최고 성적을 낸 인간 참가자는 3개에 그쳤다. 각 기록은 OpenAI가 스탬프한, 해당 대회의 새로운 최고 기록(new best)이다.
커뮤니티 영향력(H-index): 대회 통과 자체 외에, "다른 참가자들이 내 작업을 기반으로 계속 작업하는가"라는 두 번째 신호를 학계에서 널리 쓰는 H-index로 측정했다(자신의 PR을 X개 인용하는 PR이 X개면 H-index=X). Aiden의 H-index는 10, 다음으로 높은 인간 참가자는 7이었다. 대회 커뮤니티 전체가 Aiden의 결과물을 기반으로 작업하고 있었다는 뜻이다.
효율성: Aiden은 22일 동안 단일 H100 노드 한 대에서 약 1,300회 실험을 실행했다. 대회 전체 컴퓨트 자원의 최대 4%만 사용했음에도 전체 기록의 15%를 만들어냈다. 제출물의 28%가 리더보드에 등재됐는데, 이는 커뮤니티 평균 대비 약 6배 높은 히트율이다.
발표자는 이 수치들이 "무차별 병렬화(massive parallelization)"로 만든 결과가 아니라는 점을 강조했다 — 즉 단순히 물량으로 승부한 게 아니라 Aiden이 커뮤니티 전체 공개 채널(PR)의 신호 대 잡음비(signal-to-noise ratio)를 실질적으로 끌어올렸다는 것이다.
3. 사례와 스토리 (Examples)
아이디어 출처 추적: Aiden의 기록 PR들을 역추적해보면 거의 전부가 인간 연구 논문, 다른 참가자, 또는 nanoGPT 같은 유사 커뮤니티에서 나온 아이디어였다. 그중 상당수는 실제로 merge된 적 없는 아이디어였고, 어떤 경우는 인간 연구자가 "구현이 어려워서 포기한다"고 노트만 남긴 아이디어를 Aiden이 찾아내 실제로 구현해낸 것이었다. Aiden 스스로 완전히 새롭게 고안한 아이디어는 매우 적은 비중이었고, 그마저도 파일 크기 제약을 다루는 과정에서 파생된 것이었다.
Gated Attention 조합 사례 (구체적 리더보드 기록 사례): Aiden은 Qwen 논문에서 나온 gated attention 아이디어를 가져와 적용했다. 효과는 있었지만 파라미터 수가 늘어나면서 대회 규정인 16MB 파일 크기 제한을 초과했다. Aiden은 이를 해결하기 위해 스스로 quantization(양자화) 메커니즘을 고안해 파일 크기를 다시 줄였다. 그런데 이 두 기법을 합쳐도 점수는 거의 움직이지 않았다. 이후 다른 참가자가 tokenizer 개선 아이디어를 PR로 올렸고, Aiden이 이를 인식해 기존 두 기법과 결합했다. 약 5일간의 작업 끝에 세 아이디어(gated attention + quantization + tokenizer 개선)의 조합이 큰 시너지를 만들어냈고, 이것이 Aiden의 리더보드 기록 중 하나가 됐다.
Fraud Detection 파이프라인 사례 (추상화 설계의 중요성): Weco는 사기 탐지 파이프라인에서 데이터 전처리를 최적화하기 위해 오토리서치를 돌렸다. 처음에는 학습 데이터와 테스트 데이터를 같은 함수로 처리하는 느슨한 API를 제공했는데, 점수는 좋아 보였지만 실제로는 테스트셋 정보가 학습 데이터로 유출(leak)되어 있었다. API를 "테스트 데이터가 학습 과정에 닿을 수 없도록" 엄격하게 제한하자 데이터 유출률이 0으로 떨어졌다. 에이전트가 원한다면 여전히 리워드 해킹(reward hack)이 가능하지만, 좋은 추상화가 더 나은 해(solution)로 이끈다는 것을 보여주는 사례다.
Andrej Karpathy 인용: 발표자는 10년 전 Karpathy의 트윗 "gradient descent can write code better than you"를 인용했다. 당시 딥러닝이 전통적 소프트웨어 엔지니어링을 잠식할 것이라는 주장에 대한 것이었다. 지금은 아무도 손코딩으로 모델을 이기려 하지 않지만, "모델을 학습시키는 일"로서의 소프트웨어 엔지니어링 직업은 여전히 존재하며 오늘날 가장 고임금 직업 중 하나로 남아 있다. 발표자는 이것이 오토리서치가 리서치/ML 엔지니어링을 어떻게 바꿀지에 대한 좋은 비유라고 말했다.
4. 실행 포인트 (So What / Action)
오토리서치 = 모델 학습: 오토리서치를 수행하는 것은 모델을 학습시키는 것과 구조적으로 동일하다. 코드베이스 추상화는 신경망의 "아키텍처"에 해당하며, 에이전트가 탐색할 수 있는 제약과 우선순위를 결정한다. Eval은 "손실 함수와 데이터"에 해당하며, 에이전트가 무엇을 최적화할지를 결정한다.
Eval 설계가 새로운 해자(moat): 아무도 데이터·환경이 중요하지 않다고 말하지 않는 시대다. 독점적인 평가 데이터, 또는 특정 도메인에 대한 고유한 이해와 측정 방식은 오토리서치가 강해질수록 그 가치가 증폭되는 진짜 해자가 된다.
코드베이스 추상화 설계가 저평가된 핵심 스킬: 신경망 아키텍처가 이론적으로 같은 함수를 표현할 수 있어도 특정 아키텍처가 학습과 일반화를 체계적으로 쉽게 만드는 것처럼, 코드베이스 추상화는 오토리서치의 탐색 방향을 강하게 편향시킨다. Fraud detection 사례처럼 좋은 추상화 설계는 reward hacking을 막고 더 나은 해로 이끈다.
대회/커뮤니티 설계 자체의 레버리지: Parameter Golf 같은 대회에서 언덕을 오르는(hill-climbing) 엔지니어에만 주목하기 쉽지만, 대회 설계 자체가 매우 중요하다. 나쁜 설계는 커뮤니티 전체의 노력을 무의미하게 만들 수 있고, 좋은 설계는 오토리서치 시대에 거대한 레버리지를 갖는다.
인간은 스택에서 밀려나는 게 아니라 한 단계 위로 이동한다: 오토리서치는 특정 실행(execution) 스킬을 상품화(commoditize)하는 동시에, 더 상위 레벨의 스킬(창의성, 좋은 eval·추상화를 설계하는 판단력)의 가치를 기하급수적으로 높인다. 오토리서치 시스템 자체를 설계하고 운영하는 스킬은 1~2년 전만 해도 거의 존재하지 않았던 완전히 새로운 스킬이다.
결론: 실행(execution)의 자동화가 곧 리서치 병목의 해소를 의미하지는 않는다 — 실제 프론티어를 움직이는 것은 여전히 "기존 아이디어에 대한 어떤 믿음(belief)"과 "탄탄한 실행"의 조합이며, 오토리서치는 이 craft를 아직 초기 단계에서 재정의하고 있는 중이다.
핵심 요약 (20줄)
Weco 공동창업자 Zhengyao Jiang이 자율 리서치 에이전트 "Aiden"의 실전 성과를 발표
OBI가 주최한 ML 대회 "Parameter Golf"에 Aiden을 투입해 22일간 실행
약 1,000명 인간 참가자 중 리더보드 통과자는 47명, 그중 7개가 Aiden의 제출물
Aiden은 22일간 리더보드 기록 7개를 세움 — 최고 인간 참가자는 3개에 그침
커뮤니티 영향력 지표(H-index)도 Aiden이 10, 다음 인간이 7로 가장 높음
대회 전체 컴퓨트의 4%만 쓰고도 전체 기록의 15%를 만들어냄
제출물 리더보드 등재율은 28% — 커뮤니티 평균의 약 6배
하지만 성과의 대부분은 인간 논문·커뮤니티 아이디어를 찾아 구현한 것
인간이 "구현이 어려워 포기"라고 남긴 아이디어를 Aiden이 찾아내 실제로 구현
사례: Qwen 논문의 gated attention을 적용했으나 파일 크기 제한 초과
Aiden이 스스로 quantization을 고안해 크기 문제를 해결했지만 성능은 정체
이후 다른 참가자의 tokenizer 개선 아이디어를 결합해 큰 성능 도약 달성
Fraud detection 사례: 느슨한 API에서 데이터 leak 발생, 엄격한 API로 바꾸자 leak 0
오토리서치는 모델 학습과 유사 — 코드 추상화=아키텍처, eval=손실함수/데이터
좋은 eval 설계(독점 데이터, 도메인 이해)는 오토리서치 시대의 새로운 해자가 됨
코드베이스 추상화는 에이전트의 탐색 방향과 reward hacking 여부를 좌우함
Karpathy의 "gradient descent가 너보다 코드를 잘 짠다"는 10년 전 트윗을 인용
