36%에서 100%로: 자기개선 에이전트가 스스로 스킬을 작성하는 법

URL: https://www.youtube.com/watch?v=jDdgfTp_PXw 날짜: 2026-10-12 채널: Tech Bridge 원문 제목: [한영자막] 36%에서 100%로: 자기 개선 에이전트는 어떻게 스스로 스킬을 작성할까요? — Runlayer Rafal Wilinski

📌 핵심 질문 / 에이전트의 경험을 조직의 재사용 가능한 지식으로 바꾸는 방법

==에이전트의 성공·실패 실행 기록에서 절차를 추출하고 스킬과 MCP로 배포하면, 모델 성능이 아니라 조직의 경험이 누적되는 자기개선 학습 순환을 만들 수 있다.==

• 긴 작업일수록 초기 방향을 정하는 스킬이 결과를 좌우한다.
• 비개발자에게도 스킬을 제공하려면 MCP를 배포 계층으로 활용해야 한다.
• AWS Lambda에서 Chromium을 실행한 테스트는 같은 Sonnet 4.6으로 성공률을 36%에서 100%로 높였다.

1. 에이전트가 오래 일할수록 스킬이 중요해지는 이유

1.1. 방향을 잃는 장기 추론

1. 짧은 질문에서 긴 작업으로 이동한다

   1. 초기 에이전트: 간단한 질문에 답하는 에이전트는 한 번의 추론으로 작업을 끝낼 수 있다.
   2. 장기 에이전트: 브라우저 조작·코드 실행·외부 시스템 호출이 이어지는 작업은 수십 단계의 계획과 복구를 요구한다.

2. 잘못된 방향으로 깊어지는 문제

   1. 초기 실수가 확대된다: 첫 단계에서 잘못 선택한 도구나 경로를 수정하지 않으면 에이전트가 그 방향으로 더 많은 토큰과 시간을 쓴다.
   2. 탐색을 반복한다: 이미 과거에 해결한 문제도 세션이 끝나면 절차가 사라져 다음 실행에서 다시 시행착오를 겪는다.

1.2. 경험을 실행 지침으로 저장한다

1. 스킬(skill)의 정의

   1. 절차의 압축: 성공한 문제 해결 과정을 다음 실행에 적용할 수 있는 단계별 지침으로 저장한다.
   2. 맥락의 보존: 어떤 도구를 언제 선택했고 어떤 실패를 피했는지까지 함께 기록한다.

2. 점진적 공개(progressive disclosure)

   1. 필요할 때 읽는다: 모든 지침을 시작부터 프롬프트에 넣지 않고 작업의 현재 단계에 필요한 스킬만 읽는다.
   2. 문맥을 절약한다: 길어진 지식 저장소가 모델의 기본 문맥을 압도하지 않도록 설명과 세부 절차를 분리한다.

2. 스킬과 MCP를 조직에 배포하기

2.1. 스킬 설치의 위험

1. 실행 지침은 권한과 연결된다

   1. 출처 검증: 외부에서 내려받은 스킬은 실행할 명령과 접근하는 데이터 범위를 점검해야 한다.
   2. 업데이트 통제: 스킬이 바뀌면 에이전트의 행동도 바뀌므로 버전과 승인 절차가 필요하다.

2. 조직 배포의 조건

   1. 공통 형식: 팀이 이해할 수 있는 메타데이터와 사용 조건을 스킬에 포함한다.
   2. 권한 분리: 스킬의 지침을 읽는 권한과 실제 외부 시스템을 호출하는 권한을 분리한다.

2.2. MCP를 배포 레이어로 사용한다

1. 비개발자 접근성

   1. MCP 연결: 스킬을 MCP 서버를 통해 제공하면 사용자는 개별 설치 과정 없이 조직의 에이전트에서 기능을 호출할 수 있다.
   2. 공유 지식: 팀 전체가 같은 최신 절차와 도구 설명을 사용하므로 사람마다 다른 프롬프트를 유지할 필요가 줄어든다.

2. Skills over MCP의 방향

   1. 스킬과 도구를 결합한다: 자연어 지침은 작업의 순서를 제공하고 MCP 도구는 실제 시스템과 연결된다.
   2. 배포와 실행을 분리한다: 스킬 업데이트를 중앙에서 관리하면서 각 에이전트의 실행 환경과 권한을 독립적으로 통제한다.

3. Voyager 자기개선 시스템

3.1. 실행 기록을 스킬 라이브러리로 바꾼다

1. 성공과 실패를 모두 기록한다

   1. 트레이스 수집: 도구 호출, 관찰 결과, 모델의 선택, 오류와 복구 과정을 실행 기록으로 저장한다.
   2. 패턴 추출: 여러 실행에서 반복되는 선택과 복구 방법을 찾아 재사용 가능한 절차로 증류한다.

2. 스킬 라이브러리

   1. 검색 가능한 자산: 에이전트가 새 과업을 시작할 때 관련 스킬을 검색해 초기 계획에 반영한다.
   2. 지속적인 갱신: 새로운 성공과 실패가 쌓일수록 기존 스킬을 수정하거나 더 세분화된 스킬을 추가한다.

3.2. 실패에서 더 많이 배운다

1. 실패는 절차의 경계 조건을 드러낸다

   1. 오류 원인 기록: 단순히 “실패”라고 저장하지 않고 잘못된 가정과 실패한 도구 호출을 남긴다.
   2. 복구 단계 추출: 다음 실행이 같은 오류를 피하도록 사전 조건과 대체 경로를 스킬에 추가한다.

2. 모델과 조직 지식의 분리

   1. 모델 교체 가능성: 모델이 바뀌어도 스킬 라이브러리에 저장된 조직의 경험은 유지된다.
   2. 경험의 누적: 각 실행은 새 모델을 학습시키지 않아도 조직의 작업 절차를 더 정교하게 만든다.

4. 36%에서 100%로 개선한 사례

4.1. AWS Lambda에서 Chromium 실행하기

1. 초기 실패율

   1. 성공률 36%: 같은 Sonnet 4.6 모델이 AWS Lambda에서 Chromium을 실행하는 과업을 수행할 때 성공률이 36%에 머물렀다.
   2. 원인: 브라우저 바이너리, 실행 환경, 의존성 배치와 권한 같은 세부 조건을 매번 새로 추론해야 했다.

2. 스킬의 개입

   1. 검증된 순서 저장: 패키지 준비, Chromium 위치 확인, 런타임 설정과 실행 검증의 순서를 스킬로 기록한다.
   2. 실패 경로 반영: 이전 실행에서 실패한 환경 조건과 복구 명령을 스킬에 추가한다.

4.2. 개선 결과와 의미

1. 성공률 100%

   1. 동일 모델 비교: 모델을 더 큰 버전으로 교체하지 않고 같은 Sonnet 4.6에 개선된 스킬을 제공했다.
   2. 절차의 재사용: 에이전트가 검증된 설치·실행 순서를 따라가면서 모든 테스트를 성공시켰다.

2. 일반화 가능성

   1. 특정 과업을 넘는다: 브라우저 실행뿐 아니라 배포, 데이터 처리, 내부 도구 연결처럼 반복되는 작업에도 같은 학습 순환을 적용할 수 있다.
   2. 모델의 성능과 구분된다: 36%에서 100%로의 변화는 새로운 모델의 지능보다 조직이 절차를 축적했을 때 얻는 실행 품질을 보여준다.

5. 조직의 학습 순환과 경쟁 우위

5.1. 경험을 자산으로 만드는 순환

1. 실행에서 지식으로

   1. 과업 실행: 에이전트가 문제를 풀면서 행동과 결과를 남긴다.
   2. 스킬 추출: 성공·실패 기록에서 재사용 가능한 절차를 만든다.
   3. 조직 배포: MCP로 스킬을 팀과 업무 시스템에 제공한다.
   4. 다음 실행 개선: 새 실행이 더 많은 사례를 남기고 라이브러리를 갱신한다.

2. 실패의 경제성

   1. 재탐색 비용 절감: 이미 실패한 경로를 반복하지 않으므로 긴 작업의 비용과 지연이 줄어든다.
   2. 품질의 일관성: 개인의 기억이나 프롬프트에 의존하지 않고 조직이 검증한 절차를 공유한다.

5.2. 복제하기 어려운 방어벽

1. 모델은 빠르게 평준화된다

   1. 지능의 상품화: 외부 모델이 비슷한 수준으로 발전하면 모델 자체는 차별화 요소가 되기 어렵다.
   2. 업무 경험의 독점성: 특정 조직의 데이터·실패 기록·운영 절차는 외부에서 그대로 복제하기 어렵다.

2. 조직 학습이 방어벽이 된다

   1. 속도의 누적: 더 많은 실행이 더 나은 스킬을 만들고, 더 나은 스킬이 다시 실행 성공률을 높인다.
   2. 지식의 지속성: 모델이 교체되어도 스킬과 실행 기록이 남아 조직의 학습 자산을 보존한다.

주요 데이터 & 수치

• 초기 성공률: AWS Lambda에서 Chromium을 실행한 테스트의 성공률은 36%였다.
• 개선 성공률: 실행 기록에서 추출한 스킬을 적용한 뒤 같은 Sonnet 4.6으로 100%에 도달했다.
• 배포 계층: MCP가 개발자와 비개발자에게 스킬과 도구를 제공하는 공유 계층으로 사용된다.

주요 발언 모음

“에이전트가 해결한 문제를 다시 처음부터 풀게 두지 말고, 해결 과정 자체를 다음 실행의 스킬로 남겨야 한다.”

“모델이 바뀌어도 조직의 경험과 학습 순환이 남아 있으면 업무 지식은 계속 축적된다.”

결론 및 시사점

1. 긴 에이전트 작업의 품질은 모델 호출 수보다 첫 방향을 잡는 스킬의 정확성에 크게 좌우된다.
2. 성공 기록만 모으면 낙관적인 절차만 남으므로 실패 원인과 복구 경로까지 함께 저장해야 한다.
3. MCP는 스킬을 조직 전체에 배포하는 인터페이스가 되어 개발자와 비개발자의 접근 격차를 줄인다.
4. 같은 모델로 성공률을 36%에서 100%로 올린 사례는 실행 지식의 축적이 모델 업그레이드와 다른 개선 경로임을 보여준다.
5. 장기적인 경쟁 우위는 특정 모델이 아니라 조직의 실행 기록을 스킬 라이브러리로 바꾸는 학습 순환에서 만들어진다.

핵심 요약 (20줄)

긴 에이전트 작업은 첫 방향을 잘못 잡으면 오류를 수정하지 못한 채 잘못된 경로를 깊게 파고든다.

과거에 해결한 문제의 절차를 스킬로 저장하면 다음 실행이 같은 시행착오를 반복하지 않는다.

스킬은 도구 선택과 실행 순서, 실패 조건과 복구 방법을 재사용 가능한 지침으로 압축한다.

점진적 공개는 작업에 필요한 스킬만 필요한 시점에 읽게 해 문맥 부담을 줄인다.

외부 스킬은 실행 명령과 데이터 접근 권한을 포함할 수 있으므로 설치와 업데이트를 검증해야 한다.

MCP는 스킬과 도구를 조직 전체에 배포하는 공통 계층으로 활용할 수 있다.

비개발자도 MCP 연결을 통해 개발자가 만든 업무 절차를 에이전트에서 사용할 수 있다.

Voyager는 에이전트의 성공·실패 실행 기록에서 재사용 가능한 스킬을 추출하는 자기개선 구조다.

도구 호출과 오류, 복구 과정까지 보존해야 실패에서 실제 학습을 얻을 수 있다.

실패 기록은 다음 실행이 피해야 할 조건과 사용할 대체 경로를 스킬에 추가하게 한다.

AWS Lambda에서 Chromium을 실행한 초기 테스트의 성공률은 36%였다.

브라우저 바이너리와 의존성, 런타임 설정을 검증된 순서로 저장하면서 실행 안정성이 높아졌다.

같은 Sonnet 4.6 모델에 개선된 스킬을 제공한 결과 성공률이 100%로 올라갔다.

성공률 개선은 더 큰 모델의 도입이 아니라 조직의 실행 지식을 재사용한 결과였다.

실행 기록은 스킬로 증류되고 MCP를 통해 배포되며 새로운 실행에서 다시 검증된다.

실패에서 얻은 복구 절차까지 조직에 공유하면 개인의 기억과 프롬프트 의존성이 낮아진다.

모델이 평준화될수록 조직 고유의 데이터와 실패 기록, 운영 절차가 차별화 요소가 된다.

스킬 라이브러리는 모델을 교체해도 유지되므로 조직의 경험을 장기 자산으로 보존한다.

더 많은 실행이 더 나은 스킬을 만들고 더 나은 스킬이 다시 성공률을 높이는 선순환이 형성된다.

복제하기 어려운 경쟁 우위는 모델 자체보다 실행 기록을 지속적으로 지식으로 바꾸는 능력에서 나온다.