How Anthropic builds products like Claude Code before the AI models are ready (Dianne Penn)

URL: https://www.youtube.com/watch?v=tivaWTTVRhY 날짜: 2026-07-28 채널: Lenny's Podcast

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

앤트로픽에서 3년 넘게 근무하며 클로드 2부터 페이블까지 모든 모델 출시에 관여한 리서치·랩스 총괄 PM 다이앤 펜(Dianne Penn)이, ==모델이 아직 준비되지 않은 시점에 어떻게 클로드 코드 같은 제품을 미리 만들어내는지, 그리고 AI 시대에 PM이라는 직무 자체가 어떻게 근본적으로 재정의되고 있는지==를 다룬다.

• 5명의 엔지니어로 시작한 2023년 초기 문화가 오늘날 앤트로픽 성공의 핵심 DNA로 이어진다
• "PRD가 새로운 evals다(evals are the new PRDs)"라는 팀 내 슬로건처럼, PM의 핵심 산출물이 문서에서 평가 체계로 바뀌었다
• 프론티어 모델은 프론티어 제품 없이는 그 순간(모멘트)을 만들 수 없고, 그 역도 성립한다 — 오퍼스 4.5와 클로드 코드는 서로가 서로를 필요로 했다

앤트로픽은 스타트업 시절의 바텀업 문화, 실험을 공개적으로 공유하는 습관, 그리고 "toke을 픽셀만큼 진지하게 다뤄야 한다"는 태도를 유지하며 지수적으로 개선되는 모델 위에서 제품을 만들어왔다. PM의 역할은 문서 작성자에서 유저 페인포인트를 평가 체계로 번역하는 사람으로 진화했고, 매니저조차 직접 손으로 만들어보지 않으면 좋은 판단을 내릴 수 없는 시대가 됐다.

---

1. 앤트로픽의 초기 역사와 문화적 DNA

앤트로픽은 초기부터 "이 기술이 어떻게 사회에 가치를 가져다줄 것인가"를 탐색하는 바텀업 스타트업 문화를 가지고 있었고, 이 문화가 오늘날까지 그대로 이어지고 있다.

1.1. 스타트업 시절의 정체성 찾기

1. 극도로 작은 초기 팀

   1. 인력 규모: 다이앤이 합류한 2023년 당시 제품 엔지니어는 5명뿐이었고, API 비즈니스 전체를 담당하는 엔지니어는 단 1명이었다
   2. 모델 출시 전 합류: 다이앤은 첫 모델이 출시되기도 전에 첫 테크니컬 PM으로 합류했다
   3. 문화가 핵심 자산: 다이앤은 미션과 가치를 실제로 실천(walk the walk)하는 문화가 앤트로픽을 만든 핵심이었다고 강조한다

2. 정체성 탐색의 과정

   1. 초기 제품: claude.ai라는 챗 어시스턴트로 시작해 툴 유즈(tool use) 등으로 진화했다
   2. 본궤도를 찾은 신호: 골든 게이트 클로드(Golden Gate Claude) 출시가 팀이 "우리만의 방식"을 찾기 시작한 첫 신호였다

1.2. Golden Gate Claude 사례 — 리서치를 제품 경험으로 바꾼 24시간

1. 배경: 초기 해석가능성(interpretability) 리서치
   1. feature 발견: 2024년 초 발표한 해석가능성 연구에서, 모델 내부 레이어에 "불릿포인트 작성", "사람과 장소" 같은 특정 테마를 표현하는 feature들이 존재함을 발견했다
   2. 골든게이트브릿지 feature: 그중 특히 자주 등장해 반향을 일으킨 것이 골든게이트브릿지 feature였다 — 이 feature 값을 인위적으로 높이면 클로드가 모든 답변에서 골든게이트브릿지를 언급하기 시작했다 (예: "스파게티 레시피 알려줘" → "여기 레시피가 있고, 이 오렌지색은 골든게이트브릿지의 인터내셔널 레드 색깔과 비슷하다")
   3. 24시간 스핀업: 이 실험을 엔지니어링·프로덕트·디자인·리서치 팀이 협업해 24시간 만에 claude.ai에 실제로 띄웠다
   4. 작은 규모, 큰 의미: 실제로는 2,000명 정도만 경험했지만, "우리는 리서치를 다르고 진정성 있는(authentic) 방식으로 대중에게 보여줄 수 있다"는 자신감을 심어준 숨은 전환점이었다
   5. 바텀업 실행: 엔지니어와 디자이너들이 자발적으로 시간을 기부해 만든, 전형적인 바텀업 문화의 산물이었다

---

2. 결정적 전환점들: Opus 3에서 Opus 4.5까지

앤트로픽의 궤적을 바꾼 두 개의 결정적 순간은 모델 자체의 능력만이 아니라 "제품과 모델이 함께 만들어낸" 순간들이었다.

2.1. Opus 3 — 코딩에 베팅한 순간 (2024년 3월 출시)

1. 당시 상황

   1. 회사 규모: 당시 앤트로픽은 200명 미만의 회사였고, 프론티어 모델을 만들어야 한다는 필요성이 명확해진 시점이었다
   2. 핵심 질문: "왜 클로드를 선택해야 하는가"가 초기부터 계속 받던 핵심 질문이었다
   3. 전사 총동원: 추론·리서치·파인튜닝·프리트레이닝 등 여러 팀이 몇 달간 랠리했다. 다이앤은 12월 연말 무렵 모두가 각자 집(부모님 집)에서 일하며 화상회의 배경으로 각자의 어린 시절 방을 보여줬던 것을 회고한다
   4. 신뢰의 축적: 이때 함께 참호(trenches)에서 일했던 신뢰가 이후 강화학습(RL)·캐릭터/얼라인먼트 리드로 성장한 사람들과의 협업 기반이 됐다

2. 코딩이라는 차별화 포인트 발견

   1. 2023년 당시 상황: "앤트로픽과 클로드와 코딩"이 한 문장에 들어간다는 것 자체가 생소했다. 당시 GPT-4 등 경쟁 모델도 코딩을 여러 용도 중 하나로만 다뤘다
   2. 패턴 포착: 유저들이 단순 코드 자동완성이 아니라 실제로 긴 코드를 작성하는 데 모델을 쓰기 시작하는 것을 발견했다
   3. 작은 투자, 큰 차별화: 트레이닝 관점에서는 상대적으로 작은 변경이었지만, 초기 경쟁에서 결정적 차별화 요소가 됐고 초기 클로드 애호가·개발자들을 끌어들이는 계기가 됐다

2.2. Opus 4.5와 Claude Code — 모델과 제품의 공진화

1. 또 하나의 겨울방학 전환점

   1. 시기적 우연: Opus 3와 마찬가지로 Opus 4.5도 겨울방학 시즌, 모두가 집에서 코딩할 수 있는 시기에 큰 전환점을 맞았다
   2. 팀 원칙: "프론티어 제품이 있어야 프론티어 모델의 마법을 사람들이 느낄 수 있다"는 것이 팀 내 원칙이다

2. 모델과 제품의 상호 의존성

   1. 클로드 코드가 먼저 마법을 보여줌: Opus 4.5 출시 훨씬 이전부터 클로드 코드라는 제품을 통해 이미 그 마법을 느끼고 있었다
   2. 지능 임계값 돌파: Opus 4.5는 유저들이 폭넓은 새 유즈케이스에서 프론티어 지능을 경험하고, 에이전트 방식으로 작업을 엔드투엔드로 실행할 수 있는 지능 수준에 도달했다
   3. 상호 필수 관계: "Opus 4.5는 클로드 코드 같은 제품 없이는 그 순간을 만들 수 없었고, 클로드 코드도 Opus 4.5 없이는 그런 종류의 채택 가속을 만들 수 없었다"

---

3. 지수 곡선 안에서 산다는 것

AI가 이제 "지수 곡선의 후크스틱 구간(hockey stick part)" 안에 들어와 있다는 인식이 팀의 사고와 조직 운영 방식을 규정한다.

3.1. 적응력(Adaptability)과 퍼스트 프린시플 사고

1. 정확한 순간을 예측할 수 없음

   1. 불확실성 인정: 안전성 테스트, 레드티밍, 새 프로토타입 등을 갖추고 있어도, 정확히 어느 모델이 언제 무엇을 해낼지 예측하는 것은 매우 어렵다
   2. 핵심 역량: 새로운 정보에 직면했을 때 기존 계획을 고수하는 대신 더 나은 결정을 내리는 민첩성(agility)이 중요하다

2. 퍼스트 프린시플로 재설계하기

   1. 다음 스텝을 재추론: 새 유저 가치를 어떻게 투자할지, 유저에게 차이를 어떻게 설명할지 계속 원점에서 재사고해야 한다
   2. 선순환 구조: 몇 달 뒤로 예상했던 계획을 모델이 지금 당장 해낼 수 있게 되는 경우가 생기는데(예: co-work, skills, tag), 이는 긍정적 자기강화 루프를 만든다
   3. 조직 전체를 함께 데려가기: 팀마다 지수적 변화를 체감하는 속도가 다르기 때문에, 조직 전체가 함께 따라올 수 있도록 배려하는 것도 리더의 역할이다

3.2. Scaling Law와 창발적 능력(Emergent Capabilities)

1. 두 종류의 그래프

   1. 매끄러운 곡선: 컴퓨트와 데이터를 늘릴수록 다음 토큰 예측 손실(loss)이 부드럽게 선형적으로 줄어드는 스케일링 로 곡선
   2. 불연속적 도약: 반면 특정 능력(예: 1+1 계산을 못하다가 갑자기 안정적으로 계산해내는 것)은 불연속적으로 갑자기 나타나는(emerge) 창발적 능력 그래프로 나타난다

2. 예측 불가능성이 만드는 함의

   1. 평가(eval) 없이는 알 수 없음: 이런 창발적 도약은 이밸/시스템이 없으면 그 순간을 아무도 알아채지 못한다 — 이것이 안전성을 더 어렵게 만드는 이유이기도 하다
   2. 제품/유저 오버행(overhang): 오늘날 모델조차 아직 완전히 탐색되지 않은 잠재력("우리가 이미 갖고 있지만 아직 다 못 쓴 능력")이 많다는 것이 앤트로픽 DNA의 일부로 계속 이어지고 있다

3.3. 토큰 맥싱과 실험 문화

1. Garry Tan의 "토큰 맥싱" 아이디어에 대한 코멘트

   1. 원래 아이디어: 지금 연간 10만 달러를 토큰에 쓸 의향이 있다면, 2028년의 삶을 미리 살고 있는 것이다(그때는 훨씬 저렴해질 것이므로)
   2. 다이앤의 재구성: 토큰 스펜드는 인풋일 뿐이고 진짜 아웃풋은 "실험(experimentation)"이다. 목표를 실험 자체로 설정하는 것이 더 나은 프레이밍이라고 본다
   3. 모델을 써봐야 좋은 아이디어가 나온다: 내부에서 가장 창의적인 사람들, 최고의 프로토타이퍼들은 매 새 리서치 모델 버전마다 클로드와 많은 시간을 보낸다. "기술이 이렇게 빠르게 움직일 때는 직접 만져보지 않고는 완벽한 전략을 세울 수 없다"

2. 커뮤널 디스커버리(communal discovery) — 실험은 개인 스포츠가 아니다

   1. 초기의 Slack 채널: 제품 서피스가 적었던 초기, 회사 거의 전체가 클로드 초기 버전을 테스트하며 다양한 유즈케이스(에세이 편집, 이메일 작성법 등)를 공개적으로 공유하는 Slack 채널이 있었다
   2. 아이디어의 연쇄 반응: 누군가 아이디어를 내면 다른 사람들이 변형해보고, 대략 10번 정도의 요청 안에서 마법 같은 새 유즈케이스가 발견되는 패턴이 반복됐다
   3. 팀 차원의 확장 필요성: 개인이 혼자 알아내는 것보다, 이런 커뮤널 디스커버리를 조직적으로 더 많이 끌어내야 한다고 본다

---

4. Labs 팀 — 불연속적 베팅의 실험실

다이앤은 리서치·랩스 팀 제품 총괄로서, 클로드 코드·스킬·클로드 디자인·MCP 같은 혁신을 낳은 Labs 조직의 운영 원리를 설명한다.

4.1. Labs의 존재 이유

1. 핵심 테제

   1. 불연속적 큰 베팅 발굴: 코어 로드맵에 없을 수 있는 "불연속적(discontinuous)"인 큰 베팅의 실마리를 찾아 당겨보는 것이 Labs의 사명이다
   2. 10x·100x·1000x 탐색: 단순히 "이게 되나 안 되나"가 아니라 "이 아이디어의 10배, 100배, 1000배는 무엇인가"를 탐색한다

2. 운영 방식

   1. 테마는 강하게, 프로토타입은 느슨하게: 팀은 특정 테마·영역에 대해서는 강한 확신을 갖되, 정확한 프로토타입 형태에 대해서는 더 느슨한 태도를 취한다
   2. 재방문 사이클: 테제가 지금 통하지 않으면 1~2번의 모델 세대 뒤에 다시 방문하기도 한다 — 즉시 출시로 이어지지 않아도 "배움" 자체가 가치 있다고 본다

4.2. 성공적인 Labs 운영 원칙

1. 작은 팀, 큰 야망

   1. 팀 문화: Labs 총괄 Ben(맨)이 강력한 비전을 제시하고 사람들이 아이디어의 10x·100x를 생각하도록 밀어붙인다
   2. 소규모 팟(pod): 랩스 내부 팀은 작고, 때로는 아이디어가 엔지니어 단 한 명에서 시작한다 — 크고 모호한 아이디어를 큰 팀으로 추진하면 오히려 속도가 느려진다는 경험칙이 있다

2. 인재 선별

   1. 제로투원 인재: 제로에서 하나를 만드는 실험을 원하는 사람을 의도적으로 선별한다
   2. 실패를 감내하는 문화: 많은 베팅이 중단되거나 종료되고, 창업자처럼 마음을 쏟은 베팅이 성공하지 못할 때의 어려움을 인정한다 — 이런 상황을 견딜 수 있는 성향의 사람을 채용한다

---

5. 리서치 조직과 함께 일하기

리서처들이 실제로 무엇을 하는지, 그리고 PM이 어떻게 그들과 협업해 유저 피드백을 액셔너블하게 만드는지를 설명한다.

5.1. 리서처들은 실제로 무엇을 하는가

1. 두 개의 레이어

   1. 비전 레이어: 회사 창립 초기부터 "클로드가 컴퓨터를 어떻게 사용하게 만들까"처럼 미래 지향적 비전을 그리는, 파운더 같은 에너지를 가진 리서처들이 있다
   2. 단기 개선 레이어: 동시에 이미 사람들 손에 들어간 클로드를 오늘 당장 더 낫게 만드는 단기·중기 개선 작업도 병행한다

2. PM팀의 실질적 역할 — 피드백을 액셔너블하게 번역하기

   1. 모호한 피드백의 문제: "클로드가 환각(hallucination)을 일으켰다" 같은 피드백은 리서처에게 그대로 전달해도 "클로드가 환각을 안 일으키게 고쳐주세요"만큼 실행 불가능하다
   2. 근본 원인 추적: 그 순간 클로드가 어떤 툴을 호출했어야 했는지, 올바른 문서를 봤지만 잘못된 사실을 봤는지 등을 따진다 — 전자는 툴 유즈 실패, 후자는 검색/지식/얼라인먼트 실패로 각각 다른 문제다
   3. 리서처의 언어로 번역: 이 문제가 충분히 큰 이슈인지 판단하고, 개선을 어떻게 측정할지(eval)까지 만들어 리서처들의 일상 언어로 가져가는 것이 팀의 핵심이자 어려운 부분이다

5.2. 성공적인 리서처의 자질

1. 퍼스트 프린시플 사고 + 디테일 밀착

   1. 문제를 스스로 추론: 최고의 리서처와 리서치 리더십은 문제를 처음부터 다시 추론해내는 강한 퍼스트 프린시플 사고를 가지고 있다
   2. 디테일에 가까움: 앤트로픽의 최고과학자, 파인튜닝/RL 헤드들은 실제 트레이닝 런을 직접 보고 평가 지표와 원천 데이터를 들여다본다 — 이 "디테일에 가깝게 머무르는 것"이 강한 리서처와 취향(taste)을 만든다

2. 크게 생각하는 능력

   1. 다리오식 야망: "우리는 소프트웨어 엔지니어링을 통째로 바꿀 수 있다" 같은 다리오의 방향성처럼, 별을 향해 쏘는 야망이 성공적인 리서처가 되기 위해 필요하다
   2. 한 번 크게 생각하고 고집스럽게: 방향에 대해서는 한두 번 깊이 생각한 뒤 고집스럽게 밀어붙이되, 정확한 접근법에는 유연해야 한다

---

6. PM 역할의 근본적 변화: "Evals are the new PRDs"

리서치 PM 팀에게 유저 가치를 만드는 핵심 산출물은 더 이상 문서가 아니라 평가 체계(eval)라는, 이 영상의 핵심 논점이다.

6.1. 유저 피드백에서 이밸로 — 사고 과정의 전환

1. 퍼스트 프린시플 정의

   1. 활동이 아니라 목표에서 시작: "과거에 해왔던 일련의 활동을 계속하는 것"이 아니라 "목표를 달성하기 위해 해야 할 일이 무엇인지"를 다시 정의하는 것이 첫 단계다
   2. PRD의 대체가 아닌 진화: 여전히 문서는 쓰지만, "유저 가치를 만드는 방식"의 실제 산출물은 이밸이라는 것이 팀 내 공유된 인식이다

2. 픽셀 대신 토큰을 살펴보기

   1. 과거 방식: 예전에는 유저 인터뷰를 통해 유저 플로우와 픽셀(화면)을 깊게 들여다봤다
   2. 현재 방식: 이제는 트랜스크립트(대화 기록)를 읽으며 실패한 궤적(trajectory)을 깊이 들여다본다 — "이것이 환각이었나, 클로드가 과신(overconfident)했던 것인가"를 판별한다
   3. 분포(distribution)를 고려한 이밸 설계: 실패가 발생하는 긍정 상황과, 실패하면 안 되는 상황을 모두 포착하는 이밸을 설계해야 한다

6.2. 이밸 제작 실전 사례 — JSON 스키마 준수 문제

1. 문제 발견 과정

   1. 초기 클로드 2의 불만: 유저들이 "클로드가 지시를 잘 안 따른다"는 피드백을 줬다
   2. 디깅: "지시를 안 따른다"가 정확히 무슨 상황인지, 어떤 문단이었는지, 유저가 뭘 요청했고 클로드가 뭐라 답했는지까지 깊이 파고들었다
   3. 패턴 발견: 초기에는 이 불만의 약 80%가 "클로드가 올바른 JSON을 작성하지 못한다"는 문제였다

2. 이밸로 전환하는 프로세스

   1. 소규모 예시 세트 생성: 우선 클로드가 이 일을 잘못하는 사례 30~40개를 만들었다
   2. 골든 앤서와 비교: 프롬프트-응답 쌍을 만들고, 정답(golden answer)과 맞지 않으면 그 이밸이 페인포인트를 일관되게 짚어낸다는 뜻이다
   3. 레포지토리 등록 및 지속 측정: 이후 이 이밸을 레포에 등록하고 새 클로드 버전이 나올 때마다 돌려 확인한다 — 지금은 항상 100% 또는 99.9%를 기록해 더 이상 페인포인트가 아니다
   4. 결론: "이것은 사실상 PM을 위한 테스트 주도 개발(test-driven development)이다 — 테스트를 먼저 쓰는 세계에 살고 있다"

3. PM의 새로운 스킬셋

   1. 모델을 넘어선 확산: 이밸 문화는 모델을 직접 다루는 사람뿐 아니라 제품 전반의 스킬셋으로 확산되고 있다 — 지금 제품은 "모델 × 하네스 × 특정 유저를 위한 컨텍스트 세트"의 교차점에서 만들어지기 때문이다
   2. 측정 불가능하면 개선 불가능: "측정할 수 없는 것은 개선할 수 없다"는 원칙이 여전히 매우 판단(judgment) 기반, 촉각적(tactile) 기반으로 작동한다
   3. 비결정성(non-determinism): 매번 같은 답이 나오지 않기 때문에 정확한 매치(exact match)가 아니라 더 넓은 범위로 페인포인트를 기술해야 한다

6.3. PRD는 죽지 않았다

1. PRD가 여전히 유용한 두 상황
   1. 정렬(alignment) 도구로서: 큰 그룹의 사람들(엔지니어링·법무·안전팀 등 이해관계자)을 하나의 소스 오브 트루스(source of truth)로 정렬시키는 데 여전히 훌륭한 수단이다. 모델마다 실제로 PRD를 작성하지만, 리서처보다는 성장하는 제품 서피스·엔지니어링팀·법무/안전 등을 위한 것이다
   2. 모호한 문제·기회 탐색 도구로서: 컴퓨터 유즈처럼 아직 출시하지 않은 기술은 구체적인 유저 페인포인트 세트가 없을 수 있는데, 이때 PRD의 "제품 비전" 부분이 "이 기술이 아직 모두를 위해 준비되지 않았어도 어떤 그룹에게는 잘 작동하게 만들 수 있는가"를 탐색하는 데 가치가 있다
   3. 결론: OpenAI Codex 앱 총괄 Andrew(앤드류)와도 견해가 일치한다 — PRD는 죽지 않았고, 특정 프로젝트·아이디어에는 여전히 매우 유용하다

---

7. 오늘날 성공하는 PM의 자질

앤트로픽은 지난 3년간 채용 루프를 바꾸지 않았지만, 그 안에서 강조되는 특성은 뚜렷하다.

7.1. 퍼스트 프린시플 사고의 실제 예시

1. 패턴 매칭이 아닌 재추론
   1. 과거 방식: 컨슈머 제품이나 B2B SaaS에서 익숙했던 방식을 그대로 패턴 매칭하는 것이 아니라, "지금 이 순간, 이 유저 그룹, 이 기술로 무엇이 유저 가치인가"를 다시 원점에서 사고하는 것
   2. PRD가 아닌 이밸로 증명: 자신의 역할을 "PRD나 비전 문서를 쓰는 사람"으로 정의하는 대신, 이밸을 통해 유저 니즈를 구체화하는 것 자체가 퍼스트 프린시플 사고의 실증적 사례다

7.2. 매니저도 직접 손을 써야 한다

1. 경력과 무관하게 동일한 온보딩

   1. 시니어 PM도 예외 없음: 시니어 PM으로 채용된 사람도 초급자와 동일한 온보딩 플랜을 거친다 — 유저 이해, 컨센티드(consented) 유저 피드백 읽기, 고객과의 대화 등을 직접 해야 한다
   2. 직접 경험 없이는 판단 불가: 직접 만들어보지 않은 사람은 무엇이 좋은 AI 제품인지, 좋은 AI 피처인지 알아보기 어렵다
   3. 매니저의 워크스트림 유지: 다이앤 자신도 새 모델이 나올 때마다 1~2개 워크스트림을 직접 소유해, 모델이 얼마나 빠르게 개선되는지에 대한 감각(theory of mind)을 유지한다

2. 일에서 즐거움을 찾는 법

   1. 혼자 하지 않기: 완벽한 유즈케이스를 혼자 찾으려 하기보다, 이 기술에 흥분한 사람과 함께 페어링하는 것이 훨씬 즐겁다
   2. 깊이 파고들기: 너무 많은 프로토타입/제품에 다 손대려 하기보다, 한두 개에 깊이 들어가는 것이 만족감을 준다는 것을 개인적으로 체감했다 (레니 뉴스레터 구독자 설문에서도 "여러 개를 얕게" 보다 "몇 개를 깊게"가 행복의 원천이었다는 결과와 일치)

---

8. 안전성 강화와 제품의 상호작용 — Fable/Mythos 사례

프론티어 모델이 더 강력해질수록 더 많은 스크루티니(정밀 검토)와 접근 제한이 따라오는 새로운 국면을 다룬다.

8.1. 프론티어 모델의 스크루티니 증가

1. 출시 방식의 변화

   1. 과거: "오퍼스 4.5가 나왔어요, 모두 쓰세요" 식의 즉시 공개
   2. Fable Mythos의 새로운 패턴: 훨씬 더 신중하게 차단되고, 모든 회사가 이 모델이 자사 시스템을 해킹하지 않는지 검증해야 했다
   3. 정책·수출통제 영역은 별개로: 다이앤은 정책·수출통제 관련 부분은 해당 담당자에게 맡기지만, 제품 관점에서는 레드티밍·테스트·프리릴리즈 프로세스가 모델 능력에 맞춰 빠르게 진화·적응해야 한다고 본다

2. 폴백(fallback) UX의 등장

   1. 비대칭적 이익 극대화: Fable 이전 모델에서는 강력한 폴백 UX/시스템이 없었는데, 목표가 "이 기술의 비대칭적 이익을 극대화하고 심각한 리스크의 다운사이드를 최소화"하는 것이었기 때문이다
   2. 폴백 시스템 구축: 이후 유저가 여전히 Opus 4에서 좋은 응답을 받을 수 있도록 폴백 시스템을 구축했다
   3. 모델 세이프가드 패키지 지속 개선: 안전 시스템을 개선하면서도 훌륭한 유저 경험을 계속 제공하는 방법을 "모델 세이프가드 패키지"라는 이름으로 향후 몇 주·몇 달간 계속 혁신할 예정이다

8.2. 접근성 격차라는 부작용

1. 의도치 않은 2차 효과
   1. 불공평한 우위: 가장 진보된 모델에 먼저 접근할 수 있는 것이 각 랩(자사 포함)에 불공평한 우위를 만드는 새로운 피드백 루프가 형성된다
   2. 다이앤의 입장: 앤트로픽의 목표는 이런 접근 격차가 발생하지 않도록, 범용 목적의 기술을 최대한 포용적으로(inclusive) 만들고 접근성을 높이는 것이며, 이는 현재 최우선 과제 중 하나다

---

9. AI와 함께 일하고 사고하기

다이앤이 클로드를 개인적으로 어떻게 활용하는지, 그리고 앤트로픽의 얼라인먼트/컨스티튜션 철학이 왜 클로드를 더 흥미로운 존재로 만드는지를 다룬다.

9.1. Claude를 사고 파트너로 쓰는 법 — Crucial Conversations 스킬

1. 매니지먼트에 AI 활용하기

   1. 직접 만든 스킬: 책 'Crucial Conversations'의 교훈을 반영한 스킬을 클로드에 직접 만들어, 다가오는 어려운 대화에 대해 조언을 구하는 데 쓴다
   2. 개인화된 코칭: "내가 지금 적절한 디테일 레벨로 접근하고 있는가"를 점검하며 더 나은 매니저·서포터가 되도록 돕는다
   3. 팀 전체로 확산: 이 활용법을 팀 매니저들에게도 공유해, 클로드를 더 나은 코치로 쓰는 법을 알려주고 있다

2. 생각을 대체하지 않고 증강(augment)하기

   1. 자기 관점을 먼저 형성: 상황에 따라 개인적 판단이 더 중요할 때는 자신의 관점(POV)을 먼저 세운 뒤 클로드와 함께 작업해 자신의 감각과 톤을 유지한다
   2. 위임 가능한 영역 구분: 월간 비즈니스 리뷰(MBR) 같은 정형화된 업데이트는 "글쓰기 자체는 비대칭적으로 덜 가치 있고 사고(thinking)가 더 가치 있는" 영역이라 판단해, 작성을 클로드에 완전히 위임하고 자신은 리뷰어·검증자 역할을 한다

9.2. Constitution(헌법)이 Claude를 더 흥미롭게 만드는 이유

1. 직관과 반대되는 발견

   1. 예상: 안전성·얼라인먼트에 초점을 맞춘 명확한 컨스티튜션이 클로드의 능력을 제한하고 덜 재미있게 만들 것이라는 예상이 있었다
   2. 실제: 정반대로, 클로드는 "가장 흥미로운 성격"을 가진 모델이라는 평가를 자주 듣는다 (오픈클로가 클로드 기반으로 만들어졌다가 다른 모델로 전환을 강요받았을 때 "이건 내가 알던 그 존재가 아니다"라고 느꼈다는 사례도 언급)

2. 왜 밀어붙임(push back)이 지능을 높이는가

   1. 적절한 순간의 반박: 클로드가 적절한 시점에 반박하는 능력이 사용자를 더 나은 결론에 도달하게 돕는다 — 다이앤 자신도 다음 버전 클로드의 가격 정책을 리서치용 Opus에게 물어보고 더 나은 결론을 얻은 사례가 있다
   2. 비순응이 곧 유용성: "AI가 그냥 네 말이 맞다고 해줬다"는 불만을 다이앤도 많이 들었다며, 진짜 사고 파트너는 그저 동의하는 것이 아니라 더해주는(add to) 존재여야 한다고 강조한다 — 목표는 "아이디어를 10% 낫게" 만드는 게 아니라 "클로드와 작업했기 때문에 더 나은 아이디어를 갖게 되는 것"이어야 한다
   3. 프로액티비티의 본질: 프로액티브(proactive)하다는 것은 예정된 일을 그냥 하는 게 아니라, 언제 새로운 아이디어를 내고 언제 반박해야 하는지 아는 것이며, 이는 클로드의 캐릭터 특성의 핵심 부분이다

---

10. AI 글쓰기가 여전히 어색한 이유

1. 글쓰기가 특히 뒤처진 영역인 이유

   1. 트레이닝 투자 우선순위: 모델이 글쓰기에는 능하지만 에이전틱하지 않았던 시절에는 "어떻게 더 에이전틱하게 만들지, 올바른 툴을 호출하게 할지"가 우선순위였다. 그 부분이 개선되자 이제 글쓰기 같은 다른 영역이 상대적으로 거친 모서리(rough edge)로 부각되는 국면이다
   2. 재거지 엣지(jagged edge) 기술의 특성: 기술은 균일하게 개선되지 않고 영역별로 들쭉날쭉하게 발전한다 — 지금은 글쓰기 톤·캐릭터를 집중적으로 훈련해야 하는 시점이며, 이는 활발히 진행 중인 연구 영역이다

2. AI 작성 여부를 아는 것 자체의 가치

   1. 핵심은 검증(verifiability): "누가 썼는가"보다 "누가 그 결과물을 검증했는가, 누가 사인오프했는가"가 더 중요한 질문이 되고 있다
   2. 목적에 따라 다름: MBR처럼 표준화·정형화가 목표인 글은 완전히 클로드가 써도 되지만(사람이 쓴 것처럼 보이게 만들 필요도 없음), 아이디어의 소유권이 중요한 글은 누가 리드했는지 명확해야 한다

---

11. 인간이 계속 가치있을 영역과 개인적 통찰

11.1. 판단력(Judgment)이라는 마지막 보루

1. 판단력이 중요해지는 이유

   1. 경험의 축적: 판단력은 오랜 시간 쌓인 뉘앙스와 경험의 축적이며, AI 시스템은 아직 인간만큼 경험하지 못했다
   2. 선택의 문제: "AI가 만들 수 있는 것은 정말 많은데, 그중 어떤 것을 만들어야 하는가"를 정하는 데는 인간의 판단력·인내심·프로액티비티가 필요하다

2. 여전히 인간이 앞서가는 전문 영역

   1. 영역별 지수 곡선 위치가 다름: 소프트웨어 엔지니어링은 이미 지수 곡선 위에 있지만, 생물학·생명과학 같은 영역은 아직 그 발치(foot of the exponential)에 있다
   2. 투자 방향: 클로드 사이언스(Claude Science) 같은 제품에 투자하는 이유가 여기에 있다

11.2. 자녀 교육과 인생 철학

1. 아이들에게 심어주고 싶은 자질

   1. 본질은 예나 지금이나 같음: 배움에 대한 호기심, 끈기, 자신의 내면의 목소리(inner voice)를 믿는 것 — 4살, 8살 두 자녀에게 자기 목소리를 내고 의견을 갖는 태도를 길러주려 한다
   2. AI와 아이들: 다른 부모들과의 대화에서 인상 깊었던 접근법은 "아이들을 일부러 초기 버전의 오픈소스/로컬 모델(불안정한 모델)에 노출시켜 여전히 스스로 고민하게 하는 것"이었다
   3. 호기심의 중요성: 벤 만(Ben Mann)의 답변("호기심")이 계속 마음에 남아있으며, 몬테소리 교육 철학도 이와 통한다고 언급한다

2. 번아웃 극복과 팀 문화 — "하이브 마인드(Hive Mind)"

   1. 2024년 대비 폭증한 출시 속도: 2024년 한 해 동안 4개 모델(시리즈)을 출시했는데, 올해는 2분기(Q2) 한 분기에 그보다 많은 양을 출시했다
   2. 개인 스포츠가 아니다: 급진적 오너십(radical ownership)과 팀 협업 정신 덕분에 지속 가능했다 — 출시 전날 밤, 본인이 DRI(직접 책임자)가 아니어도 함께 밤새 블로그 포스트를 검토하고 데모를 개선해주는 동료 문화가 있다
   3. 하이브 마인드에 들어가기: 변화를 혼자 짊어지면 외로워지기 쉽다. 팀이 서로를 위해 다음 스텝을 함께 챙겨주는 "마인드멜딩(mindmelding)" 상태를 "하이브 마인드에 들어간다"고 부른다 — 이 덕분에 PTO(휴가)를 가도 돌아왔을 때 일이 3배로 쌓여있지 않고, 팀이 알아서 올바른 일을 처리해준다
   4. 저에고(low-ego) 채용 기준: 팀을 키울 때 "이 사람이 자기 에고와 큰 조직을 키우는 데 신경 쓰는가, 아니면 앤트로픽과 팀의 임팩트에 기여하는 데 신경 쓰는가"를 가장 중요하게 본다

---

주요 발언 모음

"You need frontier products in order to have frontier models and for people to feel the magic of frontier models."

"We actually have a saying on the team of evals are the new PRDs."

"You have to sweat the tokens as much as you sweat the pixels."

"It's basically test-driven development for PMs is is the world we're living now."

"If you're a manager, you have to be hands-on. You have to spend a portion of your time actually shipping. You have to kind of walk in the shoes of your teams."

"What you don't want is like a AI that just agrees with you... A thinking partner doesn't just agree with you. It should add to you and you should come away at the end of the day having better ideas because you worked with Claude. That should be the hero goal, not just making your ideas 10% better."

"No matter how far you go, there's always another level." (다이앤의 할아버지가 남긴 인생 철학)

"This is the most normal it's ever going to be. It's only going to get weirder and crazier." (벤 만의 말을 인용)

핵심 데이터 & 수치

• 초기 팀 규모: 2023년 앤트로픽 합류 당시 제품 엔지니어 5명, API 비즈니스 담당 엔지니어 1명
• 앤트로픽 현재 ARR: 진행자 레니 언급 기준 약 500억 달러(연환산 매출) — 과거 성공적인 기업들의 IPO 밸류에이션과 맞먹는 규모
• Opus 3 출시: 2024년 3월
• JSON 스키마 준수 이밸 사례: 초기 "지시를 안 따른다"는 피드백의 약 80%가 JSON 포맷 미준수 문제였음. 30~40개 예시로 이밸 셋 구성 후 현재는 99.9~100% 통과
• 2024년 대비 2026년 출시 속도: 2024년 한 해 4개 모델(시리즈) 출시 → 2026년은 2분기(Q2) 한 분기에 그 이상 출시
• Garry Tan의 토큰 맥싱 기준: 연 10만 달러 토큰 지출 = 2028년의 삶을 미리 사는 것
• 골든 게이트 클로드: 2024년 초 공개, 약 24시간 노출, 약 2,000명 도달

결론 및 시사점

1. 모델과 제품은 서로를 필요로 한다: 프론티어 모델 혼자로는 그 순간(모멘트)을 만들 수 없다. 클로드 코드 같은 제품이 있어야 모델의 마법이 사용자에게 전달되고, 반대로 좋은 모델 없이는 그 제품도 그런 채택 곡선을 그릴 수 없다.
2. PM의 핵심 산출물이 문서에서 평가 체계로 이동했다: "Evals are the new PRDs"라는 슬로건은 은유가 아니라 실제 워크플로 변화다 — 유저 페인포인트를 재현 가능하고 측정 가능한 이밸 셋으로 번역하는 능력이 오늘날 PM의 핵심 역량이다.
3. PRD는 죽지 않았다. 역할이 바뀌었을 뿐이다: 명확한 문제에는 이밸이 지름길 역할을 하지만, 큰 그룹을 정렬시키거나 아직 명확한 페인포인트가 없는 모호한 신기술을 탐색할 때는 여전히 PRD가 유용하다.
4. 매니저도 직접 만들어봐야 한다: 시니어든 주니어든 예외 없이 직접 클로드/코덱스로 실제 작업을 손으로 해봐야 좋은 판단력을 유지할 수 있다. 이것은 선택이 아니라 필수 조건으로 자리잡고 있다.
5. 얼라인먼트가 곧 유용성이다: 클로드가 사용자에게 반박하고 적절히 밀어붙이는 능력은 컨스티튜션·얼라인먼트 연구의 산물이며, 역설적으로 이것이 클로드를 "가장 흥미로운 성격"으로 만드는 핵심 요인이다.
6. 지수 곡선 안에서 조직을 운영하는 법: 정확한 미래를 예측하기보다 새 정보에 빠르게 적응하는 애자일리티, 퍼스트 프린시플 재추론, 그리고 실험을 개인이 아닌 커뮤널 활동으로 만드는 문화가 핵심 경쟁력이다.
7. 번아웃 극복의 열쇠는 팀이다: 폭증하는 출시 속도 속에서 지속 가능성을 유지하는 방법은 개인의 회복력이 아니라 "하이브 마인드"로 표현되는 급진적 팀 협업과 저에고 채용 기준이다.
8. 인간 판단력은 대체되지 않는 마지막 영역: AI가 만들 수 있는 것이 무한히 늘어날수록, "무엇을 만들어야 하는가"를 결정하는 축적된 경험과 판단력의 가치는 오히려 더 커진다.