1. 핵심 주장 (Core Claims)
- Claude Code의 진화: 작년 2월 Sonnet 3.7 발표의 "불릿 포인트 하나"였던 Claude Code가 1년 반 만에 모든 permission prompt를 사람이 일일이 검토하던 도구에서, 이제는 Fable로 다수의 기능을 원샷(one-shot) 구현할 수 있는 도구로 진화했다.
- 소프트웨어 엔지니어링의 통념 붕괴: "리라이트는 절대 하지 마라"는 격언(Mythical Man-Month류)이 뒤집혔다. 좋은 테스트 스위트만 있으면 리라이트가 오히려 권장된다. 코드베이스는 "유일하게 존재하는 스펙의 사본"이며, Anthropic은 실제로 Bun을 Rust로 다시 짜서 내부적으로 사용 중이다.
- PM/엔지니어 역할 재분배: 아이디어→구현 소요 기간이 6~12개월에서 최대 1주일로 단축되면서, 엔지니어에게 요구되는 역량이 "정교한 실행력"에서 "비즈니스 감각·프로덕트 취향"으로 이동했다. (단, 인프라 영역은 여전히 정밀한 실행이 중요.)
- Claude Tag = Claude Code의 팀 협업 진화형: Slack 등 협업 툴에 상주하며 (1) 멀티플레이어 기본 지원, (2) 리액티브가 아닌 프로액티브(버그 리포트 자동 모니터링·PR 생성·담당자 태그), (3) 채널 단위 팀 메모리를 갖춘 것이 핵심 차별점. 현재 Anthropic 프로덕트 엔지니어링 팀 PR의 65%를 Claude Tag가 랜딩시킨다.
- 신뢰 구축은 인프라 투자의 산물: 코드 리뷰에서 인간을 제외하는 것, 새 모델을 드롭인 교체하는 것, auto mode를 프롬프트 인젝션에 안전하게 만드는 것 — 이 모두는 몇 달에 걸친 eval 세트 구축과 red-teaming의 결과물이지 하루아침에 되는 일이 아니다.
- 시스템 프롬프트 80% 감축: Fable와 Opus 4.8의 판단력 향상 덕분에 Claude Code 시스템 프롬프트가 80% 줄었다. 예시(example)를 넣는 게 오히려 창의성을 제한한다는 것을 발견 — "예시를 주라"는 전통적 프롬프팅 조언이 최신 프론티어 모델에는 반대로 작동할 수 있다.
- 툴 설계는 과학이라기보다 예술/생물학에 가깝다: 툴 개수는 최대한 적게, 각 툴은 서로 명확히 구분되는 기능을 가져야 한다는 원칙 정도만 있을 뿐 결정론적 공식은 없다.
- Auto mode는 실시간 Sonnet 분류기 기반 안전장치: 매 turn/bash 호출마다 별도의 Sonnet 분류기가 툴 호출과 대화 맥락, 사용자 지시를 판단해 동적으로 권한을 부여/거부한다. 샌드박스 탈출이 필요한 요청(네트워크 등)도 auto mode가 판단해 허용 여부를 결정한다.
- "우리는 스스로와 협상하지 않는다": Anthropic 공동창업자들의 원칙. 머릿속으로 트레이드오프를 상상해서 스스로 야망을 꺾지 말고, 트레이드오프가 실재하는지 증거로 증명하게 하라는 문화.
2. 근거와 사례 (Evidence & Examples)
- Bun → Rust 리라이트: Thariq가 언급한 사례. 실제로 동작 중이며, Claude Code 자체도 내부적으로는 이미 이 Rust 버전 위에서 돌아간다고 밝힘.
- Remote Control의 예상 밖 흥행: Thariq 본인은 필요성을 못 느꼈던 기능(모바일/브라우저에서 로컬 CLI 세션 원격 제어)인데, 출시 후 많은 사람들이 "노트북을 충전기에 꽂아두고 화면만 잠근 채, 소파에서 휴대폰으로 여러 개의 Claude Code 세션을 원격 제어"하는 워크플로를 자발적으로 만들어냈다.
- 코드 리뷰의 인간 제거 프로세스: 6개월 이상에 걸쳐 단계적으로 진행. 처음엔 모든 코드를 인간이 리뷰 → 특정 파일 영역에서 자동 코드리뷰가 이슈를 100% 잡아낸다는 게 확인되면 그 영역의 인간 리뷰를 제거. 인시던트가 발생하면 원인 PR을 eval set에 추가해 향후 리뷰 봇이 같은 실수를 반복하지 않도록 함.
- 모델 교체 시 신뢰 확보 방법: 새 모델(Fable)이 나오면 전체 eval set을 돌려 기존 모델(Opus 4.8)보다 "strictly better"함을 확인한 뒤에만 드롭인 교체.
- 사용자가 싫어하는 행동에 대한 behavioral eval: 사용자들이 "이제 잘 시간이에요" 같은 메시지나 "5개 중 2개 끝냈는데 계속할까요?" 같은 불필요한 확인 질문을 싫어한다는 피드백을 받아, 이런 항목들을 개별 eval로 만들어 하나씩 우선순위로 해결.
- 시스템 프롬프트 수정 사례 — verification 지시: 기존에는 "프론트엔드를 변경하면 항상 검증하라"는 절대적 지시가 있었는데, 실제로는 문자열 하나만 바꾸는 사소한 수정까지 검증할 필요가 없어 혼란을 유발했음. 이후 "대부분의 경우 백엔드 엔드포인트만으로는 전체 UX를 파악할 수 없으니 앱을 로컬에서 실행해보라"는 식의 뉘앙스 있는 지시로 수정.
- 모델별 다른 시스템 프롬프트: 80% 감축된 프롬프트는 프론티어 모델(Fable, Opus 4.8)에만 적용되고, 구형 모델은 여전히 풀 버전 프롬프트를 사용.
- 자격증명 프록시 패턴(credential injection): Claude Code가 Datadog에 접근해야 할 때, 실제 Datadog 자격증명은 에이전트가 보유하지 않고, 요청 시점에 프록시가 토큰을 실시간 주입하는 방식. Simon은 이 패턴을 "여러 곳에서 보고 있다"며 강하게 지지.
- Claude의 영상 편집 사례: Cat Wu가 ACM Agentic 컨퍼런스 발표 후, 편집 안 된 원본(발표자 영상, 발표자료 영상, 오디오, HTML 덱)을 그대로 Claude(Fable)에 던졌더니 — 전체를 트랜스크립션하고, 발표자료 영상에 팝업이 낀 걸 감지해 HTML 소스로 대체 사용, 발표자가 무대를 걸어다니는 걸 추적해 동적 크롭, ffmpeg/remotion으로 애니메이션까지 원샷으로 완성.
- Simon의 요청/피드백: Anthropic이 모델 시스템 프롬프트는 공개하면서 Claude Code 및 각종 툴 프롬프트는 공개하지 않는 것에 대한 불만 — 이를 공식 기능 요청으로 접수(Thariq가 "Claude Tag한테 시키겠다"고 농담).
- 오디언스 Q&A 사례 1 (eval 툴링): eval 구축 도구 자체보다 "고품질 eval을 어떻게 만드는가"라는 스킬 부족이 병목이라는 답변.
- 오디언스 Q&A 2 (메모리 아키텍처): Claude Tag의 메모리는 현재 채널별 마크다운 파일로 저장되며, 파일 대신 별도 데이터 스토어로 전환하는 방향은 아직 명확한 답이 없는 "활발히 실험 중"인 영역이라고 답변.
3. 구조화된 시사점 (Structured Insights)
| 영역 | 1년 전 | 지금 |
|---|---|---|
| 권한 관리 | 모든 permission prompt를 수동 검토 | Auto mode의 실시간 Sonnet 분류기가 동적 판단 |
| 리라이트 | 금기시됨 | 좋은 테스트 스위트만 있으면 권장됨 |
| PM 워크플로 | 6개월 PRD 사이클 | 아이디어→구현 최대 1주 |
| 코드 리뷰 | 인간이 전체 검토 | 핵심 영역만 code owner, 나머지는 자동 리뷰 봇 |
| 프롬프팅 | "예시를 많이 주라" | 프론티어 모델엔 예시가 오히려 창의성 제약 |
| 협업 단위 | 개인 vs Claude 1:1 | Claude Tag를 통한 멀티플레이어 채널 협업 |
- 툴 설계 철학의 수렴: grep/glob 같은 전용 검색 툴을 제거하고 네이티브 bash로 대체한 것, file-edit 툴을 "결정론적 UI 렌더링"이라는 이유만으로 유지하는 것 등은 "툴 개수를 최소화하고 기능 중복을 없앤다"는 원칙이 실제 설계 결정에 어떻게 반영되는지 보여준다.
- 신뢰(trust)는 계층적으로 쌓인다: (1) 모델에 대한 신뢰(eval 세트로 drop-in 검증) → (2) 코드에 대한 신뢰(자동 리뷰가 100% 캐치하는 영역부터 인간 리뷰 제거) → (3) 에이전트 행동에 대한 신뢰(auto mode의 red-team 검증) — 세 층위 모두 "많은 시간에 걸친 점진적 eval 축적"이라는 동일한 패턴을 따른다.
- 시스템 프롬프트 설계는 "엣지 케이스 사고"의 산물: "이 지시가 90%는 맞지만 10%는 틀리는 경우가 있는가?"를 계속 자문하며 하드 제약(don't do X)을 줄이고 맥락(context)을 늘리는 방향으로 진화. 이는 모델의 판단력이 충분히 좋아졌을 때만 가능한 전략이라, 구형/소형 모델에는 여전히 상세한 지시가 필요하다는 이중 구조를 만든다.
- 자격증명 분리 패턴(credential injection)은 "에이전트가 행동은 하되 비밀은 보유하지 않는다"는 원칙의 구체적 구현이며, 감사(audit) 가능성과 보안을 동시에 높이는 방법으로 여러 사례(Datadog, Claude Tag의 자체 identity/credential)에서 반복 등장한다.
- "손실감(sense of loss)"에 대한 처방은 야망 확장: 같은 일을 더 쉽게 하는 게 아니라, 이전엔 엄두도 못 냈던 더 큰 일(Bun 전체 리라이트, Zig로 손코딩 등)을 시도하는 것이 감정적 대응이자 실질적 전략이라는 프레이밍.
4. 실행 포인트 (Action Points)
- Auto mode 전환을 진지하게 검토: Simon도 "죄책감을 느끼며 YOLO 모드를 쓰고 있었다"고 고백하고, 이 대화를 계기로 auto mode 사용을 시작했다고 밝힘 — 프롬프트 인젝션/데이터 유출 리스크가 평균적인 인간 리뷰어보다 낮다는 Anthropic의 주장(공개 예정 eval로 검증 가능)을 확인해볼 가치가 있음.
- 시스템 프롬프트/커스텀 지시 작성 시 "예시 과다"를 재점검: 프론티어 모델 대상 프롬프트에서는 예시를 줄이고 맥락 위주로 작성하는 실험을 해볼 것. 특히 "하드 제약(always/never)"이 사용자 지시와 충돌할 소지가 있는지 점검.
- 팀 협업에 Claude를 투입할 때 채널을 최대한 public으로 유지: Claude Tag류 도구의 정확도는 접근 가능한 컨텍스트 범위에 비례하므로, private 채널 남발은 성능을 제약한다.
- 크리덴셜 분리(credential injection) 패턴을 자체 인프라에 적용 검토: 에이전트가 외부 API(Datadog 등)를 호출해야 하지만 직접 비밀을 보유하지 않도록 프록시 계층을 두는 설계는 재현 가치가 높은 보안 패턴.
- eval 구축은 도구보다 스킬 문제로 접근: eval 자동화 툴을 먼저 찾기보다, "무엇이 좋은 eval인가"를 먼저 정의하는 데 시간을 투자하는 것이 Anthropic의 결론.
- 개인/팀 워크플로에 Workflows 기능을 코딩 외 용도로 실험: 여행 계획, 팀 오프사이트 장소 선정, 취미(암벽등반) 큐레이션처럼 "여러 소스를 종합해 필터링"하는 리서치 작업에 적용 가능성을 눈여겨볼 것.
핵심 요약 (20줄)
Claude Code는 작년 2월 Sonnet 3.7의 부수적 기능으로 시작해 1년 반 만에 매 permission prompt를 검토하던 시대를 지나 Fable로 다수 기능을 원샷 구현하는 수준까지 진화했습니다.
소프트웨어 엔지니어링의 오랜 통념이 뒤집혔는데, 대표적으로 "절대 리라이트하지 마라"는 격언이 이제 "좋은 테스트 스위트만 있으면 리라이트가 오히려 낫다"는 방향으로 바뀌었고, Anthropic은 실제로 Bun을 Rust로 다시 짜서 내부적으로 사용 중입니다.
아이디어에서 구현까지 걸리는 시간이 6~12개월에서 최대 1주일로 줄면서, 엔지니어에게 요구되는 역량은 정교한 실행력보다 비즈니스 감각과 프로덕트 취향 쪽으로 이동했습니다.
Claude Tag는 Slack 등 협업 툴에 상주하며 멀티플레이어로 동작하고, 버그 리포트를 자동 모니터링해 PR을 올리는 등 리액티브가 아닌 프로액티브 방식으로 작동하며, 현재 Anthropic 프로덕트 엔지니어링 팀 PR의 65%를 랜딩시키고 있습니다.
Claude Tag는 코딩 외에도 회사 전체를 검색하는 엔진, 메트릭 질문에 답하는 분석 도구, 마케팅팀이 기능을 이해하기 위해 코드베이스를 클론해보는 용도 등으로도 널리 쓰이고 있습니다.
예상외로 흥행한 기능은 원격 제어(Remote Control)로, 사람들이 노트북을 충전기에 꽂아둔 채 화면을 잠그고 소파에서 휴대폰으로 여러 Claude Code 세션을 조종하는 습관을 자발적으로 만들어냈습니다.
코드 리뷰에서 인간을 제외하는 과정은 6개월 이상에 걸쳐 점진적으로 진행되었으며, 자동 리뷰가 특정 영역의 이슈를 100% 잡아낸다는 게 확인된 뒤에야 그 영역의 인간 검토를 제거하는 방식입니다.
새로운 모델(Fable)을 기존 모델(Opus 4.8) 대신 드롭인 교체하려면, 전체 eval 세트를 돌려 새 모델이 기존 모델보다 확실히 더 낫다는 것을 확인해야 합니다.
사용자가 싫어하는 세부 행동(예: "이제 잘 시간이에요" 같은 메시지, 불필요한 진행 확인 질문)도 behavioral eval로 하나씩 만들어 우선순위대로 개선하고 있습니다.
Claude Code의 시스템 프롬프트는 Fable와 Opus 4.8의 판단력 향상 덕분에 80% 줄었으며, 놀랍게도 예시를 넣는 것이 오히려 모델의 창의성을 제한한다는 사실이 확인되어 예시를 줄이는 방향으로 갔습니다.
하드 제약("항상 이렇게 하라")을 줄이고 맥락 정보를 늘리는 이유는, 하드 제약이 나중에 나오는 사용자 지시와 충돌할 때 모델을 심하게 혼란스럽게 만들기 때문입니다.
이런 방식은 프론티어 모델의 판단력이 충분할 때만 가능하기 때문에, 프론티어 모델과 구형/소형 모델에는 서로 다른 시스템 프롬프트가 별도로 유지되고 있습니다.
툴 설계는 명확한 과학이라기보다 예술/생물학에 가까우며, 원칙은 툴 개수를 최소화하고 각 툴이 서로 명확히 구분되는 기능을 갖도록 하는 것뿐입니다.
Auto mode는 매 turn과 bash 호출마다 별도의 Sonnet 분류기가 실시간으로 툴 호출과 대화 맥락, 사용자 지시를 판단해 동적으로 권한을 부여하거나 거부하는 방식으로 작동합니다.
Auto mode는 샌드박스 탈출이 필요한 요청(예: 네트워크 호출)에 대해서도 맥락을 보고 허용 여부를 판단하며, Anthropic 내부에서는 올해 1월부터 사용해온 기능입니다.
프롬프트 인젝션과 데이터 유출 같은 주요 리스크에 대해 Auto mode는 평균적인 인간 리뷰어보다 낮은 리스크 수준을 달성했다고 주장하며, 관련 eval을 조만간 공개할 예정입니다.
자격증명 분리(credential injection) 패턴도 소개되었는데, 에이전트가 Datadog 같은 외부 서비스를 호출할 때 실제 자격증명은 보유하지 않고 요청 시점에 프록시가 토큰을 대신 주입하는 방식으로 보안과 감사 가능성을 동시에 확보합니다.
AI로 인한 "역할 상실감"에 대해서는, 예전과 같은 일을 더 쉽게 하는 것이 아니라 이전엔 엄두도 못 냈던 더 큰 목표(대규모 리라이트 등)에 도전하는 것이 정서적, 실질적 해법이라고 이야기했습니다.
인상적인 사례로 Claude(Fable)가 발표자의 원본 영상, 발표자료 영상, 오디오, HTML 덱만 받아서 팝업 결함을 스스로 감지해 HTML 소스로 대체하고, 발표자의 무대 위 동선을 추적해 동적으로 크롭하는 영상 편집을 원샷으로 완성한 이야기가 소개되었습니다.
여전히 부족한 영역으로는 디자인/UX 취향("Opus 미학"으로 알아볼 수 있는 특징적 스타일)과 실제 물리 세계(과학 실험 설계 등)와의 상호작용이 꼽혔습니다.
Anthropic의 문화적 원칙 중 "우리는 스스로와 협상하지 않는다"는 트레이드오프를 상상만으로 단정하지 말고 실재하는지 증명하게 하라는 태도로, 다른 조직도 참고할 만한 관행으로 제시되었습니다.