"이해가 새로운 병목이다" — Thariq Shihipar
1계층: 핵심 주장 (3-5개)
1-1. 이해가 새로운 병목이다 (Understanding Is the New Bottleneck)
AI 모델(특히 Fable)의 성능이 인간의 인지 능력을 초과하는 수준에 도달했다. 산출물이 충분히 나오고 있지만, 그것을 인간이 이해하고 검증하는 능력이 오히려 병목이 됐다. Fable의 작업 품질은 이제 AI 능력이 아닌 사용자가 미지의 것(unknowns)을 얼마나 명확히 하느냐에 의해 결정된다.
1-2. 인지 부채(Cognitive Debt)가 쌓이고 있다
AI가 너무 빠르게, 너무 많이 코드와 결과물을 생성하면서 인간은 그것이 어떻게 만들어졌는지 모르는 채 결과만 수령하고 있다. 모르고 넘기면 이 빚이 축적된다. 미래에 문제가 발생했을 때 루트 커즈를 추적할 수 없게 된다.
1-3. AI Evaluation(평가)은 구조적으로 해킹 가능하다
LMArena 같은 인간 선호도 기반 벤치마크도, SWE-bench 같은 코딩 벤치마크도 모두 특정 타겟에 최적화(게임화)될 수 있다. 벤치마크 1위 모델이 실제 사용에서 별로였던 Llama 4 사례가 대표적이다. Jagged Intelligence: 수학 올림피아드는 풀지만 개그는 못 쓰는 AI의 불균형한 능력 분포는 evaluation 목표의 편향에서 기인한다.
1-4. Fable급에서는 AI가 스스로 판단하게 해야 한다
Anthropic 엔지니어들의 공통 메시지: 세세하게 지시하지 말고 Fable이 스스로 서브에이전트 모델을 선택하고 작업 계획을 세우게 하라. 구현에는 최상의 모델이 거의 불필요하다. 판단·리뷰·종합만 메인 루프(Fable)에 남기고 나머지는 위임하라.
1-5. 이 패턴은 반복된다 (역사는 동형이다)
6~7개월 주기로 같은 이야기가 반복된다. "Opus로 판단하고 Sonnet으로 코딩하라" → "Fable로 판단하고 Haiku로 코딩하라". 프런티어 모델이 바뀔 때마다 동일한 구조의 문제와 해결책이 재등장한다. 이 패턴 자체를 인식하는 것이 중요하다.
2계층: 주요 논점과 근거
A. Fable 첫인상: 분명히 좋지만 인지가 못 따라간다
- 박종현: Fable로 코드 리뷰를 돌렸더니 5시간 Max 쿼터를 30분 만에 소진. Ultra 모드에서 에이전트를 동시에 많이 돌린 결과. "분명히 좋을 텐데, 리뷰 내용을 따라가는 게 오히려 느려서 일단 최대한 많이 돌려놓고 있다" → 인지가 산출물 속도를 못 따라가는 상황.
- 최승준: Opus 4.8, Codex로 며칠 헤매던 Minecraft 에이전트 버그들을 Fable이 리뷰해서 몇 개 해결. 단, 전체 사용량의 20%를 순식간에 소진.
- 노정석: "두 배 좋은데, 세 배 좋은데" 하는 극적인 체감보다는, 기대치 자체가 올라가서 조금만 못해도 짜증나는 상태.
B. Fable의 자율 모델 선택 전략
- Thariq Shihipar(Anthropic)가 공유한 프롬프트: "모든 코딩 작업에 적절한 저성능 모델을 스스로 판단해서 선택하고 서브에이전트에서 실행해 줘"
- Fable이 실제로 이를 따라 Sonnet 5로 큰 작업, Haiku로 작은 작업 분배.
- Fable이 메모리에 스스로 기록: "비용과 효율성 때문. 구현에는 최상 모델이 거의 불필요하다. 판단·리뷰·종합은 메인 루프에 남긴다."
- Anthropic 기술 스태프들의 공통 메시지: 세세한 지시보다 Fable 자율 판단을 신뢰하라.
C. "나의 미지의 것들 찾아내기" — Known/Unknown 4사분면
- Alfred Korzybski: "지도는 영토가 아니다" — 지도(내 이해)와 실제 영토(현실) 사이의 간극이 미지의 것들.
- Known Knowns / Known Unknowns / Unknown Unknowns (Donald Rumsfeld, 2000년대) + Unknown Knowns (철학자 추가) = 4사분면.
- Claude/Fable에게 미지의 것이 많아질수록 틀릴 가능성도 높아진다. Fable의 품질 병목 = 사용자가 unknowns를 얼마나 명확히 했느냐.
- 방법: Claude에게 "나를 인터뷰해 달라"고 해서 미지의 것을 드러내는 Cognitive Task Analysis(CTA) 방식 활용.
D. 인지 부채 해소 도구: HTML 보고서 + 퀴즈
- Thariq Shihipar의 실전 프롬프트: "이 변경에서 일어난 모든 일을 내가 제대로 이해했는지 확인하고 싶습니다. 변경 사항의 HTML 보고서를 만들어 주세요. context, 직관, 수행된 작업을 포함하고, 맨 아래에는 내가 반드시 통과해야 하는 퀴즈를 넣어 주세요."
- 이 방식으로 Fable 출시 영상 자체를 제작. FFmpeg 모름 → Claude에게 배워서 컬러 그레이딩까지 소화.
- Notion에 있는 개발자도 "Explain Diff" 스킬을 만들어 HTML/Notion 페이지로 출력 → 인쇄해서 항상 소지하며 메모.
- Andy Matuschak + Michael Nielsen의 니모닉 퀴즈 방식을 AI 루프 속도 조절 장치로 재해석.
E. LMArena와 AI Evaluation의 한계
- LMArena: 인간 선호도 기반 지표. 디자인, 슬라이드 등 정형화 불가 태스크에 유용.
- Llama 4 사건: 비공개 상태로 LMArena에 올려 여러 버전 테스트 → 1위 한 것만 공개 → 실제 사용자 경험은 최악. "인간 선호도도 튜닝으로 해킹할 수 있다"는 증명.
- 이후 LMArena는 여러 버전 동시 제출 제한 등 정책 강화.
- SWE-bench 등 코딩 벤치마크: 특정 데이터 분포 정복 → 그 범위 내 LLM 발전, 현실 일반 능력과 괴리.
- Jagged Intelligence: 수학 올림피아드 풀지만 소설·개그는 못 씀 → evaluation 목표 편향이 원인.
- 장기 방향: 사람 선호도 데이터 대규모 수집(LMArena) → 소설, 개그 등 주관적 태스크 정복 가능성.
F. Evaluation의 사업화와 미래
- Evaluation 자체가 큰 산업: frontier lab들이 거의 대부분의 비용 지출.
- 멀티모달(audio, robotics, VLA) evaluation이 훨씬 어렵고 데이터 비쌈 → 여기에 사업 기회.
- Surrogate reward model: 물리 환경에서 "커피를 잘 갈았나"를 자동 판단하는 모델 수요.
- Scalar 하나(점수)가 나와야 목표가 생기고 발전이 가능.
3계층: 세부 사례와 예시
사례 1 — Anthropic vs OpenAI 철학 차이
- Anthropic: thinking tokens에 큰 비중을 두지 않음. 모델 자체가 원샷 원킬 하도록 최적화.
- OpenAI(ChatGPT): test-time compute에 큰 기대. GPT-5.5, 5.6도 작은 모델에 긴 test-time compute → 성능 향상 확인.
- 상충 관계: 대형 모델 원샷 원킬 vs. 소형 모델 + 긴 compute. 어떤 일이냐에 따라 다름. "천재 한 명의 일필휘지 vs. 적당한 열 명의 협업"과 유사.
사례 2 — Fable 가격과 사용 전략의 주기성
- 과거: "Opus 비싸 → 판단은 Opus, 코딩은 Sonnet"
- Max 요금제 등장 → Opus 체감 저렴 → 모든 일을 Opus로
- 현재: Fable 비쌈 → 다시 "판단은 Fable, 구현은 낮은 모델"
- 패턴: 프런티어 모델 비용 부담 → 하이브리드 전략 → 가격 하락 → 모두 프런티어 → 새 프런티어 등장 → 반복.
사례 3 — YouTube 퀴즈 기능과 "이해 병목"의 시대적 증거
- YouTube에 Gemini 요약 기능 추가 → 요약 보고 영상 보기 → 많이 보지만 세부 내용 놓침.
- YouTube 퀴즈 기능 추가 → 이해를 체크하는 장치.
- 콘텐츠 압축 소비 시대의 부작용을 플랫폼 레벨에서 해결하려는 시도 = "이해가 새로운 병목"의 사회적 증거.
사례 4 — 세대 간 학습 방식의 단절 가능성
- 현재 소셜 담론 주도: 30~40대 세대 → "이해하고 분해해야 한다"는 교육 받음.
- 10~20대 초반: CPU assembler 최적화를 묻지 않듯 AI를 하위 레이어로 두고 그 위에서 새로운 생산성 체계 형성 가능성.
- 20대 창작자 Oh My OpenCode의 README: "사람은 읽지 마세요" — AI가 읽는 문서로 README 작성.
- 이 세대가 어떻게 학습하는지 추가 탐구 필요.
사례 5 — 도메인 특화 소형 모델 전략
- 30B 이상 모델에 도메인 특화 로직을 잘 먹이면 빅테크 대형 모델 없이도 사업 가능.
- Engram 등 이를 전문으로 하는 회사 등장.
- model이 서비스 그 자체 → context 관리(RAG) vs. 완전 학습 내재화 선택 문제 재부상 (모델 가격 상승으로).
- 공통점: 경계 짓기 engineering — 어느 선에서 누가 무엇을 할 것인지.
4계층: 실행 가능한 인사이트 및 시사점
인사이트 1 — 인지 부채 측정 습관화
AI 산출물을 수령할 때, "나는 이것이 어떻게 만들어졌는지 아는가?"를 주기적으로 점검하라. Thariq Shihipar 방식 실천: 큰 변경사항 후 Claude에게 "이 변경의 HTML 보고서 + 퀴즈"를 요청해서 스스로 이해 여부를 확인하라.
인사이트 2 — 미지의 것(Unknowns) 드러내기 먼저
Fable에게 복잡한 작업을 시키기 전에 먼저 "나를 인터뷰해 달라"고 요청해 모호한 부분을 명확히 하라. 내가 명확히 못 한 unknowns만큼 AI가 틀린다. 이것이 Fable 시대의 첫 번째 병목이다.
인사이트 3 — 모델 자율 판단을 신뢰하는 프롬프트 패턴
"이 작업에 적절한 서브에이전트 모델을 스스로 판단해서 선택하고 실행해 줘.
판단·리뷰·종합은 네가, 구현은 적절한 저성능 모델에 위임해."
세세한 지시보다 Fable의 자율 판단이 더 좋은 결과를 낼 수 있다.
인사이트 4 — 벤치마크를 맹신하지 말 것
- LMArena 1위 = 실사용 최고가 아님 (Llama 4 사건).
- SWE-bench 고득점 = 내 실제 업무에 강한 것이 아님.
- 내가 실제로 하는 태스크로 직접 비교 테스트하는 것이 유일한 신뢰할 수 있는 방법.
인사이트 5 — "루프 안으로 더 깊이 들어가라"
루프 바깥에서 AI를 그냥 돌리는 것이 아니라, AI가 작업하는 루프 안에서 벌어지는 일을 깊이 이해하고 내 역량을 높이는 데 지금의 방법론을 활용하라.
"우리는 단지 루프에서 빠져나오기만 할 필요가 없습니다. 오히려 루프 안으로 더 깊이 들어갈 수도 있습니다. 그것은 우리에게 달려 있습니다."
인사이트 6 — Evaluation/Dataset은 빅테크 이외의 사업 기회
- 도메인 특화 evaluation 구축 → 특정 산업에서 frontier lab에 필요한 asset.
- 멀티모달(audio, robotics, VLA) evaluation 데이터가 특히 부족 → 기회.
- Surrogate reward model(범용 채점 모델) 수요 증가.
인사이트 7 — 패턴 인식으로 미리 준비하기
6~7개월마다 반복되는 이 패턴을 알면, 현재 최신 모델에 의존하더라도 다음 주기에 어떤 하이브리드 전략이 등장할지 미리 대비할 수 있다. "이해가 병목이다"라는 문제는 모델이 바뀌어도 반복될 것이다.
영상 요약 (배경 정보)
- 녹화일: 2026년 7월 4일 (토)
- 출연진: 노정석, 최승준, 박종현(새 패널)
- 주요 계기: Claude Fable 출시 이후 첫 에피소드
- 전체 흐름: Fable 초기 체감 → 모델 자율 판단 전략 → 인지 부채와 unknowns → AI evaluation의 구조적 한계 → 세대간 학습 방식 변화 → 멀티모달 evaluation 사업 기회
- 핵심 참고 자료:
- Thariq Shihipar (Anthropic)의 "Finding Your Unknowns" 포스트
- Alfred Korzybski: "지도는 영토가 아니다"
- Donald Rumsfeld의 Known/Unknown 4사분면
- Andy Matuschak + Michael Nielsen의 니모닉 미디어
- Dwarkesh Podcast × Grant Sanderson(3Blue1Brown) 에피소드
- Seymour Papert의 마이크로월드 개념