AI 활용의 1%의 법칙 — Tech Bridge

인터뷰 대상: Jeff Dean (Google Chief Scientist, Google DeepMind / Google Research) 원본: https://www.youtube.com/watch?v=W7hJVj1yb34 업로드일: 2026-08-09 처리일: 2026-08-09

---

① 한눈에 보는 핵심

이 영상은 Google의 Jeff Dean이 AI Ascent 형식의 인터뷰에서 AI의 현재와 미래, 그리고 스타트업·엔지니어가 어떻게 행동해야 하는지를 설명한 대담이다. 영상의 한국어 제목 “AI 활용의 1%의 법칙”은 Jeff Dean이 창업자들에게 조언하는 핵심 문장에서 따온 것이다: “현재 최첨단 모델이 0% 또는 1%의 확률로만 성공하는 문제를 고르라. 20% 정도 성공하는 영역은 너무 빨리 대형 모델에 잠식될 것이다.”

핵심 메시지를 다섯 가지로 압축하면 다음과 같다.

1. AI는 이미 주니어 엔지니어 수준에 도달했다. 복잡한 코딩 작업과 장기 실행 에이전트 태스크에서 실제로 유용하게 작동한다.
2. 2027년의 핵심 트렌드는 “AI가 AI를 개선하는 루프”다. 모델 스스로 실험을 설계하고, 하위 문제로 분해해 병렬 실험을 실행하고, 결과를 통합해 자기 능력을 향상시키는 자동화된 과학 방법이 등장할 것이다.
3. 추론(inference) 전용 하드웨어가 다음 핵심 인프라 전쟁이다. 레이턴시와 에너지 효율이 에이전트 시대의 제약이며, 범용 GPU·TPU보다 더 극단적으로 특화된 저에너지·저레이턴시 추론 칩이 중요해진다.
4. “컨텍스트 엔지니어링”이 새로운 핵심 역량이다. 모델 자체를 파인튜닝하지 않고, 검색, 툴, 메모리, 스킬, 멀티에이전트를 설계해 모델의 실제 성능을 끌어올리는 능력이 개인과 팀의 차별점이 된다.
5. “1% 법칙”은 창업의 기준이다. 창업자는 대형 연구소가 아직 잘 못 하는, 모델이 0~1%만 성공하는 문제를 찾아야 한다. 그 문제는 보통 독점 데이터, 도메인 전문성, 또는 특화 모델 훈련이 가능한 영역이다.

---

② 전체 흐름 / 구조

영상은 50분가량의 파이어사이드 인터뷰로, 다음 7개의 주제가 순환하며 이어진다.

구간	주제	핵심 키워드
오프닝	Jeff Dean의 AI 예측 점검	주니어 엔지니어, 2025년 예측, 에이전트 기반 코딩
1부	2027년 대담 예측	자동화된 ML 실험, recursive self-improvement, 문제 분해
2부	시스템 설계의 역사와 현재	“메모리에 다 들어간다” 순간, 추론 하드웨어, 레이턴시
3부	AI 시대의 숫자 감각	pJ 단위 연산, 데이터 이동 비용 1,000배, 에너지 중심 설계
4부	컨텍스트 엔지니어링과 에이전트	스킬, 툴, 검색, 메모리, 멀티에이전트, 장기 실행
5부	스타트업 기회와 “1% 법칙”	도메인 특화, 데이터, AlphaFold 사례, 0~1% vs 20%
6부	제프 딘의 사고법과 조언	냅킨 수학, 가정 뒤집기, MapReduce·TPU·Distillation 탄생사
7부	미래 문제와 팀·멘토링	뉴로모픽, 지속 학습, 다중 에이전트, 좋은 사람 찾기

이 인터뷰의 전반부는 기술(하드웨어·시스템·모델)에, 후반부는 사람(창업자, 팀, 문제 선택, 멘토링)에 초점을 맞춘다. 두 축은 “기술 가능성을 어떻게 사람의 의도와 결합시킬 것인가”라는 질문으로 연결된다.

---

③ 핵심 발언 · 근거 · 사례 상세

3.1 주니어 엔지니어 예측은 거의 정확해졌다

Jeff Dean은 2025년 5월 AI Ascent에서 “AI가 주니어 엔지니어 수준에 도달할 것”이라고 예측했고, 1년 뒤 되돌아보니 “상당히 정확했다”고 평가했다. 그가 과소평가했던 점은 두 가지였다.

• 복잡한 태스크로의 확장 속도: 단순 코드 생성을 넘어 장기 실행(long-running) 에이전트 태스크에서의 능력 향상이 예상보다 빨랐다.
• 에이전트의 영역 확대: 코딩 외에 다른 도메인에서 에이전트 시스템이 빛을 발하기 시작했다.

이는 이제 AI가 “코드를 조금 생성하는 도구”가 아니라 “하루, 며칠, 몇 주간 문제를 해결하는 동료”로 진화하고 있음을 의미한다.

3.2 2027년: AI가 AI를 개선하는 자동화 루프

Jeff Dean의 대담 예측은 다음과 같다.

“ML 시스템 스스로 많은 실험을 실행하고, 문제를 하위 문제로 분해하고, 각 하위 문제를 긴밀한 자동 실험 루프에서 실행하고, 결과를 종합해 개선된 시스템을 만들어내는 완전 자동화된 문제 분해 및 실험 루프가 나타날 것이다.”

이 개념은 단순한 “모델이 자기 자신을 개선”을 넘어선다. 핵심은 세 가지 메커니즘이다.

1. 문제 분해(Problem Decomposition): 고수준 목표를 여러 하위 문제로 쪼갠다.
2. 자동 실험 루프(Automated Experimentation Loop): 각 하위 문제에 대해 다양한 접근법을 시도하고 평가한다.
3. 결과 통합(Integration): 하위 문제의 최적 솔루션을 모아 전체 솔루션으로 재구성한다.

이는 과학 방법(가설 → 실험 → 평가 → 학습)의 자동화이며, ML 모델 설계, 칩 설계(AlphaChip), 과학 시뮬레이션 등에 적용될 수 있다. 그는 “발견당 컴퓨팅 비용(discoveries per unit of compute)”을 최적화하는 것이 목표라고 강조했다.

3.3 “메모리에 다 들어간다” 순간의 현재 버전: 추론 하드웨어

2001년 Google 검색 인덱스가 전체 컴퓨터의 RAM에 맞춰질 수 있음을 Jeff Dean과 Sanjay Ghemawat이 깨달은 순간, 검색은 하드디스크에서 메모리 기반으로 재설계되었다. 그것이 Google 검색의 압도적인 속도의 기원이었다.

Jeff Dean은 2026년의 “메모리에 들어간다” 같은 순간을 **“추론(inference) 전용 하드웨어”**로 제시했다. 그의 근거는 다음과 같다.

• 에이전트 시스템이 대중화되려면 레이턴시가 핵심이다.
• 범용 GPU/TPU보다 훨씬 더 전문화된 저에너지·저레이턴시 하드웨어가 필요하다.
• 레이턴시가 50배 개선되면 사용자 경험과 가능한 제품의 종류가 근본적으로 바뀐다.

이는 AI 인프라의 다음 전쟁이 “학습(training)”에서 “추론(inference)”으로 이동하고 있음을 보여준다.

3.4 AI 시대의 숫자 감각: 에너지 중심 설계

Jeff Dean은 “Latency Numbers Every Engineer Should Know”의 AI 버전으로 다음 숫자들을 제시했다.

• 가속기 메인 메모리 → 온칩 메모리 대역폭
• 곱셈 연산 하나당 에너지 소비
• 온칩 곱셈기와 메모리 간 이동 비용
• 칩 간 인터커넥트 대역폭
• 500개 칩 vs 10,000개 칩 네트워크 대역폭의 급감 폭락

그는 특히 데이터 이동 비용이 연산 비용보다 1,000배 비싸다는 사실을 강조했다. 이것이 딥러닝 시스템의 거의 모든 설계 결정을 좌우한다.

• 배치(batch)의 존재 이유: 데이터를 한 번 메모리에서 불러온 뒤 여러 예시/토큰을 동시에 처리해 1,000배 비용을 분할한다.
• 저레이턴시 추론의 어려움: 배치가 커지면 레이턴시가 커진다. 따라서 저레이턴시 하드웨어는 데이터 이동을 극단적으로 줄여야 한다.
• 훈련의 배치 크기: 이상적으로는 배치 크기 1 훈련이 좋겠지만, 현실은 데이터 이동 비용 때문에 큰 배치를 사용한다.

이는 AI 시스템의 많은 “모델 문제”가 실제로는 데이터 이동(data movement)과 에너지 효율의 시스템 문제라는 점을 말해준다.

3.5 컨텍스트 엔지니어링: 모델을 둘러싼 시스템 설계

Jeff Dean은 “AI 진보가 단순히 더 큰 모델을 만드는 것이 아니라, 모델 주변의 시스템이 점점 더 중요해졌다”고 말했다. 이를 그는 **컨텍스트 엔지니어링(Context Engineering)**으로 요약했다.

컨텍스트 엔지니어링의 구성요소는 다음과 같다.

• 검색(Retrieval): 모델이 필요한 정보를 외부에서 찾아 컨텍스트에 넣는다.
• 툴 사용(Tool Use): 모델이 사용할 수 있는 도구를 정의하고 선택한다.
• 메모리(Memory): 과거 문제 해결 과정에서 수집한 정보를 재활용한다.
• 스킬(Skills): 특정 도메인 문제를 해결하기 위한 절차와 지침을 모델에 제공한다.
• 멀티에이전트(Multi-agent): 여러 에이전트가 다른 접근법을 시도하고, 평가자가 가장 유망한 경로를 선택한다.

그는 구체적인 사례로 자신과 Sanjay가 함께 작업한 마이크로벤치마크 최적화 스킬을 들었다. 저수준 라이브러리의 성능을 개선하는 과정(측정 → 수정 → 재측정 → 캐시 풋프린트 측정 → 반복)을 스킬로 만들어 에이전트가 자기 개선 루프를 돌도록 했고, 상당히 효과적이었다고 했다. 이는 “문제를 푸는 방법을 사람이 모델에 전달하는 것”이 모델 성능을 끌어올리는 핵심임을 보여준다.

3.6 장기 실행 에이전트: 며칠에서 몇 주까지

Jeff Dean은 현재 많은 사람들이 간과하는 중요한 변화를 지적했다.

“에이전트가 1시간 또는 2시간 동안 실행되는 것을 넘어, 일부 문제 영역에서는 능력 있는 모델을 기반으로 며칠 또는 몇 주 동안 실행될 수 있다. 이것은 정말로 큰 의미가 있다.”

그는 구체적으로 “완전히 다른 프로그래밍 언어로 새로운 버전의 소프트웨어를 구현하라”는 태스크를 예로 들었다. 이는 에이전트가 단순한 단기 코드 생성을 넘어 대규모 소프트웨어 재설계(re-architecture)와 포팅(porting)까지 가능함을 의미한다.

장기 실행 에이전트의 안정성을 높이는 기법으로는 다음이 있다.

• 스킬과 힌트 제공: 모델이 잘 아는 영역(밝게 조명된 경로) 안에 머무르도록 한다.
• 멀티에이전트 + 평가자: 여러 에이전트가 병렬로 접근법을 시도하고, 평가자가 가장 유망한 경로를 선택하고 실패한 경로는 버린다.
• Inference-time compute: 탐색 공간을 탐색하며 더 높은 성능과 신뢰성을 얻는다.

3.7 스타트업의 “1% 법칙”

영상의 제목이 된 핵심 조언은 다음과 같다.

“현재 일반 모델이 0% 또는 1%의 시간에만 성공하는 문제를 찾아라. 20% 성공하는 영역은 안 좋은 징조다. 왜냐하면 그 능력은 앞으로 6개월 또는 12개월 안에 일반 모델이 더 나아지면서 잠식될 가능성이 높기 때문이다.”

Jeff Dean은 0~1% 영역의 특징을 세 가지로 제시했다.

1. 독점 데이터 접근: 사용자의 개인 정보, 기업 내부 데이터, 특정 도메인 데이터를 활용할 수 있는 경우. 대형 모델은 이 데이터에 접근할 수 없다.
2. 희귀하고 어려운 문제: 특화된 모델을 훈련시키는 데 필요한 데이터가 있고, 그 모델이 일반 모델보다 훨씬 정확한 경우. 예: AlphaFold(단백질 구조 예측).
3. 도메인 전문성이 필요한 영역: 재료과학, 칩 설계 등 일반 모델이 잘하지 못하는 특정 분야.

그는 스타트업이 이길 수 있는 영역은 “대형 기업이 모든 것에 주의를 기울일 수 없는 특정 도메인에서 깊이 있게 설계하고, 매우 정확하고 높은 품질을 제공하는 것”이라고 했다. 동시에 “일반 모델이 점점 더 넓은 범위에서 좋아지고 있으므로, 내가 선택한 문제가 2~3년 뒤에도 여전히 일반 모델이 못 할 것인지 판단해야 한다”고 경고했다.

3.8 Jeff Dean의 사고법: 냅킨 수학과 가정 뒤집기

Jeff Dean은 MapReduce, BigTable, TPU, Distillation 등을 만들어온 방식을 설명하며, 그의 사고 도구를 공개했다.

(1) 냅킨 수학(Napkin Math)

TPU의 기원은 냅킨 수학이었다. 2013년 Google 음성인식이 딥러닝 기반으로 바뀌면서, Jeff Dean은 “모든 Google 사용자가 하루 3분만 음성 인식을 사용하면 Google 데이터센터 전체를 두 배로 늘려야 한다”고 계산했다. CPU/GPU로는 비용이 폭발할 것이므로, 저정밀 밀집 선형대수에 특화된 칩이 필요했다. 그것이 TPU였다.

• TPU 효과: 당시 CPU/GPU 대비 30~80배 에너지 효율 개선, 20~30배 레이턴시 감소.
• 설계 원칙: 알고리즘이 계속 진화할 것을 알고 있어, 일반화된 선형대수 연산에 특화하면서도 너무 과하게 특화하지 않도록 균형을 잡았다.

(2) 가정 뒤집기(Assumption Reversal)

MapReduce의 탄생도 가정 뒤집기였다. Google의 검색 크롤링·인덱싱 시스템은 수천 대의 컴퓨터에서 병렬 처리와 체크포인트 코드가 얽혀 있었다. Jeff Dean과 Sanjay는 함수형 언어 훈련을 떠올리고, “이 복잡한 병렬성 코드를 라이브러리 아래로 숨기고, 위쪽에는 단순한 map/reduce 추상화만 남기면 어떨까?”라고 생각했다. 이것이 MapReduce의 핵심 아이디어였다.

(3) 거부는 일상이다: Distillation 논문 사례

2014년 Jeff Dean, Geoffrey Hinton, Oriol Vinyals가 함께 쓴 Knowledge Distillation 논문은 NeurIPS에서 거부당했다. 심사자는 “significant impact를 미칠 가능성이 낮다”고 평가했다. 그러나 그들은 arXiv에 올렸고, 오늘날 업계 전체가 사용하는 핵심 기법이 되었다. Jeff Dean은 “논문이 거부당하는 것은 괜찮다. 계속 나아가라”고教訓했다. Google은 현재 Gemini의 Flash 모델을 Pro 모델에서 Distillation으로 만들어, 작은 크기로도 높은 성능을 내고 있다.

(4) 새로운 가정 뒤집기: 불안정한 트랜지스터로 시스템 만들기

Jeff Dean은 2026년에 즐겨하는 “미친 사고 실험”으로 다음을 제시했다.

“현재 반도체 산업은 같은 설계의 모든 칩이 동일해야 한다고 가정한다. 만약 트랜지스터가 하루에 20개의 오류를 내며, 100만 년에 한 번꼴이 아니라면? 이런 시스템은 완전히 다른 설계 방법론을 요구할 것이다.”

이는 신경형 컴퓨팅(neuromorphic computing)과 인간 뇌의 신호 전달과 닮아 있다. 뇌의 신호는 매우 안정적이지 않지만, 중요한 정보는 여러 경로를 통해 전달된다. 이런 가정 뒤집기가 새로운 하드웨어典範을 만들 수 있다.

3.9 자동화된 과학 방법과 AlphaChip, AlphaVault

Jeff Dean은 Google의 AlphaChip과 AlphaVault를 언급하며, AI가 과학·엔지니어링의 실험 루프를 가속화하는 흐름을 설명했다.

• AlphaChip: 칩 배치 설계를 자동화.
• AlphaVault: 제안 → 평가 → 작동하는 것만 유지하는 반복 루프.

이들의 공통점은 “제안 → 실험 → 평가 → 통합”의 과학 방법 루프를 자동화하고, 루프의 레이턴시를 극단적으로 낮춘다는 것이다. 그는 이 접근법이 양자화학, 재료과학, 머신러닝 모델 설계, 칩 설계 등에서 가속화될 것이라고 예측했다.

구체적으로 양자화학 사례를 들었다. 분자의 특성을 계산하는 밀도범함이론(DFT) 시뮬레이터는 하나의 분자에 대해 밤새 계산해야 했다. 그러나 팀은 DFT 결과를 대량으로 수집해 신경망 근사기(neural approximation)를 훈련시켰고, 이는 원래 시뮬레이터보다 30만 배 빠르면서 거의 동일한 정확도를 냈다. 이제 천만 개의 후보를 점심 시간에 스크리닝할 수 있게 되었다.

3.10 문제 선택, 팀, 멘토링

Jeff Dean은 25살의 자신을 현재로 데려왔을 때 무엇을 하겠냐는 질문에 다음과 같이 답했다.

“가장 중요한 질문은 이 문제를 내가 정말로 신경 쓰는가, 그리고 이 문제를 해결하면 세상이 조금이라도 더 나아지는가이다. 세상이 ‘그냥 그렇네’ 할 문제에 시간을 쓰지 마라.”

Frontier Lab에 들어갈 것인지 스타트업을 할 것인지는 개인의 취향 문제지만, 공통적인 기준은 **“긍정적인 영향(impact)”**이다.

좋은 팀을 찾는 조언은 다음과 같다.

• 보완적인 기술: 내가 모르는 것을 아는 사람들과 함께 일하라.
• 낮은 에고, 팀 플레이어: 어려운 문제를 함께 해결하려면 사람들과 즐겁게 지내야 한다.
• 도구 벨트 확장: 경력을 “기법의 도구 벨트”로 보고, 새로운 도구를 계속 추가하라. 미래에 예상치 못한 문제를 마주쳤을 때 필요한 도구가 될 것이다.

마지막으로 그는 미래에 풀었으면 하는 문제들을 열거했다.

• 훨씬 더 효율적인 추론 하드웨어
• 인간처럼 데이터 효율적인 지속 학습(continual learning) 시스템
• 다중 에이전트 상호작용
• 더 나은 시민적 대화와 세계 사람들을 연결하는 방법

---

④ 시사점 · 실행 포인트

4.1 개인 개발자/엔지니어에게

1. 컨텍스트 엔지니어링을 연습하라. 모델 파인튜닝 대신, 검색, 툴, 메모리, 스킬, 멀티에이전트를 조합해 문제를 해결하는 능력을 키워라.
2. 스킬을 문서화하고 공유하라. 자신이 반복하는 문제 해결 절차(예: 성능 최적화, 리팩토링, 테스트 작성)를 스킬 형태로 만들어 모델에 전달하라.
3. 냅킨 수학을 하라. 시스템의 에너지, 대역폭, 레이턴시, 비용을 대략적으로 계산하는 습관을 들여라. 이것이 제품 가능성을 결정한다.
4. 에너지·데이터 이동 관점에서 코드를 보다. “이 연산은 왜 이렇게 느린가?”라는 질문을 “데이터가 얼마나 이동해야 하는가?”로 바꿔라.
5. 거부는 신경 쓰지 말고 계속하라. Jeff Dean의 Distillation 논문처럼, 좋은 아이디어는 거부당한 후에도 살아남는다.

4.2 스타트업 창업자에게

6. “1% 법칙”을 적용하라. 현재 최첨단 모델이 0~1%만 성공하는 문제를 찾아라. 20% 성공하는 문제는 대형 모델에 곧 잠길 가능성이 높다.
7. 독점 데이터 또는 도메인을 활용하라. 일반 모델이 접근할 수 없는 데이터를 기반으로 제품을 만들어라.
8. 특화 모델을 고려하라. 특정 도메인에서 일반 모델보다 훨씬 정확한 작은 모델을 훈련시키는 것이 AlphaFold의 길이다.
9. 2~3년 내 일반 모델이 못 할 것인지 판단하라. 내가 선택한 문제가 대형 연구소의 일반 모델 발전에 의해 언제 잠식될지 명확히 예측하라.
10. 디자인 도구, 과학 도구, 전문가 도구를 만들어라. 범용 챗봇이 아닌, 특정 분야 전문가의 워크플로우를 10배 개선하는 도구가 스타트업의 승리 공식이다.

4.3 조직/리더에게

11. 에이전트를 하루·며칠·몇 주 단위로 설계하라. 단순 코드 생성 도구가 아니라, 장기 실행 태스크를 안정적으로 수행하는 시스템을 구축하라.
12. 멀티에이전트 + 평가자 아키텍처를 도입하라. 단일 에이전트가 아닌, 여러 접근법을 병렬로 시도하고 평가하는 구조가 장기 문제의 안정성을 높인다.
13. 내부 도구를 스킬로 만들어라. 회사 내부의 코드 리뷰, 로그 조회, 벤치마크, 배포 도구 등을 에이전트가 사용할 수 있는 스킬로 포장하라.
14. 자동 실험 루프를 준비하라. ML 모델 설계, 칩 설계, 과학 시뮬레이션 등에서 “제안 → 실험 → 평가 → 통합” 루프를 자동화할 인프라를 구축하라.
15. 저레이턴시 추론 인프라에 투자하라. 에이전트 시대의 사용자 경험은 레이턴시에 의해 결정된다. 에너지 효율과 레이턴시 모두 최적화해야 한다.

4.4 교육/커리어에

16. AI 네이티브가 되는 핵심은 “무엇을 풀 것인가”를 결정하는 맛(taste)이다. 코드 작성 능력은 에이전트가 대체할 수 있지만, 가치 있는 문제를 선택하는 통찰은 여전히 인간의 영역이다.
17. 다양한 분야의 도구를 쌓아라. 자신의 전문 분야만이 아니라, 하드웨어, 시스템, 분산 처리, 과학 방법 등 여러 기법을 익혀라.
18. “미친 사고 실험”을 정기적으로 하라. 업계의 기본 가정을 일부러 뒤집어 보고, 그것이 새로운 기회인지 확인하라.
19. 좋은 사람들과 함께 일하라. 기술적 보완성과 낮은 에고를 가진 팀원이 복잡한 문제를 푸는 가장 중요한 변수이다.
20. 세상에 긍정적인 영향을 미치는 문제를 선택하라. 기술적 흥미만으로는 충분하지 않다. 해결했을 때 세상이 “그냥 그렇네”가 아니라 “정말로 더 나아졌다”고 느끼는 문제를 추구하라.

---

태그 / 키워드

#JeffDean #Google #DeepMind #AIAgents #ContextEngineering #InferenceHardware #TPU #MapReduce #Distillation #1PercentRule #Startups #AIStartup #NapkinMath #AlphaChip #AlphaVault #MultiAgent #SystemDesign #Latency #EnergyEfficiency #ContinualLearning #TechBridge