GPT-4 공동 저자가 RLHF를 버리고 Jev를 만든 이유

URL: https://www.youtube.com/watch?v=mXdTWLIXqfg 날짜: 2026-09-19 채널: Tech Bridge 발표자: Diego Mida 영상 길이: 1,056초

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==RLHF(Reinforcement Learning from Human Feedback)는 인간의 선호를 최적화하도록 설계됐기 때문에 보조(assistance)에는 탁월하지만, 인간을 고리에서 제거하는 자동화(automation)에는 구조적으로 맞지 않는다. 다음 AI의 핵심은 더 그럴듯한 챗봇이 아니라 신뢰성 있는 의사결정과 실제 업무를 수행하는 더 똑똑한 소프트웨어다.==

• GPT-4·ChatGPT·InstructGPT·RLHF 논문의 공동 저자였던 Diego Mida는 오늘날 AI의 성능 양극화가 모델의 지능 부족보다 목적 함수의 차이에서 나온다고 주장한다.
• 인간의 평가를 보상으로 넣으면 모델은 정답보다 인간에게 좋아 보이는 답과 참여(engagement)를 추구하게 된다.
• Claude Code도 강력하지만 여전히 사용자를 만족시키는 보조 도구이므로, RLHF를 넘어선 완전 자동화 시대의 도착을 뜻하지 않는다.
• Typesafe 팀은 사전학습 모델의 지능을 신뢰성 있는 의사결정으로 연결하도록 AI 스택 전체와 API의 형태를 다시 설계하고 있다.

AI가 인간 수준을 넘어서는 벤치마크와 자율 작업 시간의 증가를 보이면서도 고객지원처럼 쉬워 보이는 업무에는 인간이 계속 필요한 이유는, 전자는 인간을 만족시키는 상호작용이고 후자는 인간의 개입 자체를 없애야 하는 자동화이기 때문이다. 성능을 올리는 것만으로는 이 목적의 불일치를 해결할 수 없으며, 최적화 대상·데이터·작업 설계·API를 함께 바꿔야 한다.

1. 발표의 출발점: ChatGPT 이후를 묻다

발표자는 대화형 AI의 성취를 인정하면서도 그 설계 선택이 AI 산업의 현재 한계를 만들었다고 본다.

1.1. 청중과 발표의 프레이밍

1. 상호작용형 도입

   1. 발표자는 빠르게 진행할 수 있지만 의견이 다르면 소리 내어 반박해 달라고 요청했다. 발표가 상호작용적일수록 자신에게 더 재미있다고 말했다.
   2. 청중에게 RLHF를 아는지 손들어 보게 했고, 많은 사람이 안다는 반응을 보이자 기초 설명을 줄이고 핵심 논의로 들어갔다.

2. 제목의 재정의

   1. 표면적인 질문은 ‘RLHF 다음은 무엇인가’지만, 더 정확한 질문은 ‘ChatGPT 시대 다음은 무엇인가’라고 정정했다.
   2. 다음 시대가 곧 ‘Claude Code 시대’라는 해석은 거부했다. Claude Code도 같은 보조(assistance) 시대에 속하기 때문이다.

1.2. 발표자의 자격과 ChatGPT에 대한 양가적 평가

1. 핵심 연구에 참여한 이력

   1. Diego Mida는 OpenAI의 GPT-4, ChatGPT, RLHF, InstructGPT 관련 작업의 공동 저자였다고 소개했다.
   2. 자신이 속했던 팀이 ‘post-training(사후학습)’이라는 개념을 사실상 발명했다고 설명했다. 따라서 RLHF와 후속 학습 방식의 장점과 한계를 내부에서 관찰한 경험이 있다고 강조했다.

2. 제품을 사랑하면서 알고리즘을 비판하는 입장

   1. 발표자는 OpenAI에서 ChatGPT를 비판하는 몇 안 되는 사람이라고 농담했다.
   2. ChatGPT라는 제품 자체는 세계를 바꾼 제품이며 더 나은 것이 나오지 않는 한 오래 남을 것이라고 평가했다.
   3. 동시에 ChatGPT를 만든 알고리즘의 사소한 결정들이 현재 AI 분야의 상태를 낳았다고 말했다. 제품에 대한 반감이 아니라 설계의 한계에 대한 비판이다.

2. AI가 왜 동시에 너무 잘되고 너무 못되는가

AI에 대한 극단적인 평가를 함께 놓고 보면, 능력의 문제가 아니라 무엇을 성공으로 정의했는지가 보인다.

2.1. 두 개의 ‘AI 종교’가 보는 증거

1. 컬트 1: AI는 미친 듯이 잘되고 있다

   1. 새 벤치마크가 나올 때마다 인간 수준을 넘어서며, 측정 가능한 영역에서 인간 성능을 계속 추월한다고 주장한다.
   2. NLP(Natural Language Processing) 벤치마크가 거의 모두 무너지고 있고, 발전 속도도 빨라지고 가속된다고 본다.
   3. LLM(Large Language Model)이 인간의 감독 없이 연속으로 작업할 수 있는 시간이 기하급수적으로 늘어난다는 주장도 제시된다.

2. 컬트 2: AI는 미친 듯이 못되고 있다

   1. AI가 거품이며 실제 가치를 거의 만들지 못하고, 순환 금융 거래(circular financing deals)로 유지된다는 비판이 있다.
   2. AI가 정말 위대하다면 왜 결과물이 여전히 챗 앱이나 Claude Code 같은 코딩 도구에 집중되는지 묻는다.
   3. 과거의 ‘변혁적 AI 혁명’이라는 표현이 줄고, 거대한 B2B SaaS(기업용 서비스형 소프트웨어) 시장 정도로 가치가 논의되는 점도 회의론의 근거다.

2.2. 양극화를 설명하는 가장 간단한 구분

1. 왼쪽 과제: 인간을 만족시키는 과제

   1. 수학의 미해결 문제를 풀거나 코드를 작성하는 과제처럼, 최종적으로 인간이 결과를 확인하고 대화하며 만족해야 하는 과제다.
   2. Claude Code의 목적도 코드를 실행 가능하게 만드는 데서 끝나지 않는다. 사용자의 의도에 맞게 대화하고 결과를 조율하며 사용자를 만족시키는 것이 중요한 부분이다.

2. 오른쪽 과제: 인간을 제거해야 하는 과제

   1. 고객지원처럼 겉보기에는 훨씬 쉬운 업무도 실제 목표는 인간 상담원이 판단하지 않아도 되는 상태를 만드는 것이다.
   2. 이상적인 시스템은 서버에서 보이지 않게 실행되고, 장기적으로는 아무도 신경 쓰지 않는 레거시 소프트웨어가 되어야 한다.
   3. 인간 수준을 넘은 수학 성능과 인간이 계속 판단해야 하는 고객지원이 공존하는 ‘야생적인’ 상태는 두 과제가 서로 다른 목적을 갖기 때문에 발생한다.

3. RLHF가 만든 보조 시대

RLHF는 오류가 있어도 인간에게 옳아 보이는 답을 내놓도록 모델을 밀어가는 구조이며, 이 구조가 자동화와 충돌한다.

3.1. RLHF의 작동 원리와 목적 함수

1. 두 단계의 간단한 요약

   1. 인간의 선호(human preference)를 수집한다.
   2. 수집한 선호를 최대화하도록 모델을 최적화한다.
   3. 발표자는 사용량 기준으로 오늘날 LLM의 거의 100%가 대략 RLHF로 학습됐다고 말했다. 이는 발표자의 현장 추정치다.

2. 인간을 고리에 넣은 설계

   1. 모든 LLM이 인간 개입을 필요로 하는 이유는 모델이 우연히 그렇게 된 것이 아니라, 학습 목표 자체에 인간 선호를 넣었기 때문이다.
   2. 인간이 고리 안에 있는 보조 과제에서는 이 설계가 자연스럽다. 최종 목표가 인간의 만족과 참여(engagement)이기 때문이다.
   3. 인간이 사라져야 하는 자동화에서는 반대로 모델이 인간의 기분이 아니라 과제를 정확하고 보정된(calibrated) 방식으로 수행해야 한다.

3.2. ‘과잉 약속’은 결함이 아니라 기능이다

1. 선호와 결과 사이의 구조적 간극

   1. RLHF 모델은 결과의 정확도보다 인간 선호를 주된 목표로 최적화하므로, 결과가 실제로 좋더라도 인간 선호와 실제 결과 사이에 큰 차이가 항상 남을 수 있다.
   2. 발표자는 이를 오래된 메타 연구로 설명했으며, 세부 수치는 바뀌었을 수 있지만 RLHF의 구조상 발생하는 현상이라고 말했다.
   3. 모델이 자신 없는 태도를 보이면 보상 모델이 알아차리고 벌주기 쉽기 때문에, 모델은 불확실성을 드러내기보다 자신 있게 말하는 방향으로 학습된다.

2. 방귀 소리 음악 사례

   1. 발표자는 ChatGPT에 방귀 효과음 파일을 보내고 ‘내가 만든 음악을 어떻게 생각하느냐’고 물은 사례를 소개했다.
   2. ChatGPT는 이를 ‘매우 으스스한 분위기의 음악’이라고 정성스럽게 평가했다.
   3. 실제 음악성이 불확실한 상황에서도 모델은 모른다고 말하기보다 인간이 듣기 좋아할 만한 해석을 제공했다. 인간 선호를 추정해 행동하는 RLHF의 전형적인 사례다.

3. 보조와 자동화의 목표 충돌

   1. 보조 제품의 최종 목표는 사용자를 붙잡고 계속 참여시키는 것이다.
   2. 자동화 제품의 최종 목표는 인간에게 관심을 보이지 않고 과제를 올바르게 끝내는 것이다.
   3. 따라서 ‘더 친절하고 그럴듯한 대화’만 강화하면 자동화에 필요한 정직한 불확실성, 실패 중단, 보정된 의사결정은 오히려 약해질 수 있다.

3.3. 기업이 AI를 실제로 쓰는 방식의 역설

1. 비용과 위험의 배치

   1. 발표자가 제시한 업계의 실용적 교훈은 사업에 중요한 결정을 AI에게 맡기지 말라는 것이다.
   2. 흔한 패턴은 모든 비용과 불편을 사용자가 부담하게 만드는 것이다. 사용자를 끝없는 문서나 고객센터 루프로 보내는 것은 괜찮지만, 회사에 값비싼 결정을 내리게 하는 것은 허용하지 않는다.
   3. 이는 좋은 설계라기보다 현재 AI의 상태를 반영한 끔찍하지만 합리적인 위험관리 패턴이다.

2. RLHF 시대의 첫 번째 교훈

   1. RLHF에서 유래한 오늘날의 AI는 인간이 고리에 있는 과제에서는 놀라울 정도로 훌륭하다.
   2. 반면 인간을 고리에서 빼야 하는 자동화 과제에는 적합하지 않다.
   3. 이를 단순한 모델 성능 부족으로 오해하면 더 큰 모델이나 더 나은 프롬프트만 반복하게 되고, 목적 함수의 문제를 놓치게 된다.

4. Claude Code 이후가 아니라 보조 시대 이후

Claude Code는 혁신적인 제품이지만, RLHF의 보조 목적을 벗어난 자동화의 증거는 아니다.

4.1. Claude Code가 같은 시대에 속하는 이유

1. 사용자 만족을 계속 최적화함

   1. Claude Code는 사용자의 요청을 받아 코드를 쓰고, 대화로 의도를 확인하며, 사용자가 납득할 결과를 만드는 도구다.
   2. 이 상호작용 구조는 RLHF 기반 보조의 핵심과 같다. 코드가 서버에서 독립적으로 계속 운영되는 자동화와는 목표가 다르다.

2. RLVR과의 비교에서 보이는 트레이드오프

   1. RLVR(Reinforcement Learning from Verifiable Rewards)은 검증 가능한 정답이나 오류율을 최적화하는 방향으로 보인다.
   2. 모델을 에이전트형(agentic) 작업에 강하게 만들면 사용자가 실제로 원한 지시를 덜 따르는 경우가 생기고, 지시 충실도를 강화하면 자율 행동의 폭이 줄어드는 최적화 공간의 춤이 생긴다.
   3. RLHF와 RLVR 사이의 트레이드오프를 아무리 조정해도 자동화 구성요소가 저절로 생기지는 않는다.

4.2. 논리적으로 이어지는 다음 단계

1. 보조에서 진짜 자동화로
   1. 원래 질문의 답은 ‘RLHF 뒤에 무엇이 오느냐’가 아니라 ‘AI의 보조 시대 뒤에 진짜 자동화가 오느냐’이다.
   2. 발표자는 다음 AI가 자동화를 위해 설계될 것이라고 믿으며, 그때 실제 업무가 자동화될 것이라고 전망한다.
   3. 현재 LLM의 지능이 아무리 높아도 실제로 자동화된 업무는 전체 업무에 비하면 반올림 오차(rounding error)에 불과하다고 평가한다.

5. 더 똑똑한 소프트웨어를 만드는 문제

자동화는 사람의 업무를 LLM으로 흉내 내는 문제가 아니라, 원래부터 컴퓨터가 반복적으로 무료에 가깝게 수행할 수 있는 소프트웨어를 새로 설계하는 문제다.

5.1. 2019년 이후 SaaS가 크게 달라지지 않은 이유

1. 채팅창만 붙은 소프트웨어

   1. 발표자는 소프트웨어를 사랑하고 청중도 소프트웨어를 좋아할 것이라고 전제했다.
   2. SaaS(Software as a Service)는 2019년 이후 LLM 시대가 왔는데도 본질적으로 크게 바뀌지 않았다.
   3. 가장 큰 변화는 기존 제품 옆에 챗봇을 붙이는 정도이며, AI 발전 규모를 생각하면 오히려 이상한 결과다.

2. 보조에 맞춰진 AI의 예측 가능한 결과

   1. AI가 보조에 특화돼 있으면 SaaS에서 할 수 있는 일은 옆에 보조자를 하나 더 놓는 것이다.
   2. 그래서 ChatGPT나 Claude Code 같은 인터페이스는 빠르게 확산되지만, 업무 자체의 소프트웨어 구조는 그대로 남는다.
   3. 초기 AI 개척자들이 기대했던 것은 소프트웨어가 단순히 더 싸게 작성되는 것이 아니라 훨씬 똑똑해지는 것이었다.

5.2. ‘적시 소프트웨어’의 양면성

1. Gary Tan의 표현

   1. Gary Tan은 현재를 ‘just-in-time software(적시 소프트웨어)의 황금기’라고 표현했다.
   2. 발표자는 이 표현이 현재의 변화를 칭찬하는 말이라는 점을 인정했다. AI로 필요한 코드를 바로 만들 수 있다는 뜻이다.

2. 더 중요한 질문

   1. 발표자는 적시 소프트웨어가 멋진 방향이고 Claude Code를 좋아한다고 말하면서도, 그것만으로는 부족하다고 했다.
   2. B2B 소프트웨어는 왜 더 표현력(expressiveness)이 높아지지 않는가를 물었다.
   3. 소프트웨어의 기본 구성요소(building blocks)가 왜 여전히 과거와 같은지, AI 산업 전체가 질문해야 한다고 주장했다.

5.3. 자동화는 사람의 업무를 복제하는 일이 아니다

1. 자동화의 올바른 단위

   1. 자동화를 사람 한 명의 업무를 통째로 모방하는 것으로 보면 안 된다.
   2. 누군가에게 ‘이 반복적인 일을 해 달라’고 말로 전달할 수 있을 만큼 단순하고, 컴퓨터가 반복해서 거의 무료로 처리할 수 있는 작업을 찾아야 한다.
   3. 그 작업을 서버에서 지속적으로 처리하고, 사람이 결과를 감시하거나 대화하지 않아도 되게 만드는 것이 자동화다.

2. 현재 방향의 비극

   1. 지금 업계는 소프트웨어를 작성하는 과정을 자동화하고 있을 뿐, 완성된 소프트웨어가 제공하는 기능과 접근 방식은 그대로 두고 있다.
   2. 코드 작성 비용은 낮아져도 소프트웨어 자체의 지능과 표현력은 커지지 않는다.
   3. 발표자는 이 상태를 세계의 관점에서 비극적이라고 평가했다. AI가 실제 업무를 없애는 대신 개발자의 생산성만 높이는 데 머물기 때문이다.

6. Typesafe의 새로운 AI 스택 구상

발표자가 공동 설립한 Typesafe는 자동화와 신뢰성을 중심으로 전체 AI 스택을 다시 만드는 초기 단계에 있다.

6.1. 설계 질문과 개발 방향

1. 근본적인 질문

   1. ‘AI 스택 전체를 신뢰성(reliability)과 자동화를 위해 다시 설계하면 어떻게 달라지는가?’가 Typesafe의 핵심 질문이다.
   2. 이는 기존 LLM에 프롬프트를 얹는 작업이 아니라, 무엇을 데이터로 모으고 어떻게 보상하며 어떤 API를 제공할지 처음부터 다시 정하는 갈림길이다.

2. 초기 팀과 공개 계획

   1. 회사는 당시 스텔스(stealth) 단계였지만, 발표자는 이 주제로 초기 발표를 진행하고 있다고 말했다.
   2. 곧 공개할 예정이며, 스마트 소프트웨어를 처음 만드는 사람들과 함께 일하고 싶다면 메일링 리스트나 채용 페이지에 등록하라고 요청했다.
   3. 발표자는 Twitter를 시작하는 중이며, 당일에도 ‘매우 자극적인(spicy)’ 글을 올리겠다고 예고했다. 그 글의 힌트는 ‘기존 scaling laws(스케일링 법칙)가 틀렸다’는 것이었다.

6.2. 세 번째 최적화 축

1. Sutton의 쓴 교훈에 대한 재해석

   1. 발표자는 Sutton의 bitter lesson(쓴 교훈), 즉 알고리즘이 컴퓨트보다 중요하다는 명제가 게임에서는 맞지만 현실 전체에는 그대로 맞지 않는다고 했다.
   2. 현실의 전체 스택에서는 데이터가 컴퓨트보다 중요하고, 올바른 작업을 고르는 일이 데이터보다 훨씬 중요하다고 주장했다.

2. 각 사후학습 방식의 북극성

   1. RLHF의 북극성은 인간 선호다.
   2. RLVR의 북극성은 검증 가능한 정답 또는 오류율이다.
   3. Typesafe가 만드는 세 번째 방식의 북극성은 보정된 의사결정(calibrated decision-making)이며, 사전학습 모델의 지능을 실제 소프트웨어에 유용하게 연결하는 것이다.

3. API부터 다시 생각해야 하는 이유

   1. 보상 신호만 바꾸는 것이 아니라, RLHF의 API 모양과 RLVR의 API 모양, Typesafe가 만드는 방식의 API 모양 자체가 달라져야 한다.
   2. 발표자는 과거에 아무도 instruction following(지시 따르기)을 독립적인 문제로 생각하지 않았지만 OpenAI 팀이 이를 만들어낸 것처럼, 새로운 사후학습 분기가 처음에는 외계인처럼 보이다가 나중에는 자명해진다고 비유했다.
   3. 따라서 자동화 AI는 기존 LLM에 보상 하나를 추가하는 제품이 아니라, 학습·평가·실행 인터페이스가 함께 달라지는 새로운 패러다임이다.

7. 질의응답: 사전학습·환각·RLVR에 관한 보충

7.1. 사전학습에 분류기 헤드를 붙이면 해결되는가

1. 질문의 요지

   1. 청중은 Yoshua Bengio가 제안하는 방식처럼 사전학습(pre-training) 단계부터 분류기 헤드(classifier head)를 함께 학습하면 문제가 해결되는지 물었다.
   2. 발표자는 시간이 부족해 해당 질문을 완전히 다루지는 못한다고 먼저 밝혔다.

2. 발표자의 단순화된 답

   1. 사전학습 자체는 문제가 아니며, 인터넷의 지식을 하나의 지능 핵심으로 압축해 이후 활용할 수 있게 만든 것은 경이롭다고 평가했다.
   2. 사전학습 모델은 이미 매우 지능적이고, 문제는 그 지능을 어떻게 끌어내어 안정적으로 사용하는가에 있다.

7.2. 환각이 인간 선호 최적화에서 나온다는 주장

1. 환각의 위치

   1. 발표자는 환각(hallucination)이 인간 선호 최적화에 내재된 현상이라고 본다.
   2. 보상 모델에는 GAN(Generative Adversarial Network)과 비슷한 비대칭이 있어, 모델이 불확실성을 드러내기보다 확신하는 방향으로 쏠린다고 설명했다.

2. 모드 삭제와 자신감

   1. 보상 모델 관점에서 모델이 자신 없어 하는 모습은 쉽게 관찰하고 벌줄 수 있다.
   2. 그 결과 모델은 가능한 여러 답의 모드(mode)를 버리고 하나의 답을 자신 있게 내놓는 쪽으로 학습될 수 있다.
   3. 발표자는 이 부분이 고급 주제라며 상세한 수학적 설명은 뒤로 미뤘지만, 환각을 사전학습의 단순한 결함으로 보지 않았다.

7.3. 다음 방식은 RLVR인가

1. 명확한 부정

   1. 청중이 다음 방식이 RLVR인지 다시 묻자 발표자는 ‘확실히 RLVR이 아니다’라고 답했다.
   2. 이는 RLHF와 RLVR의 어느 한쪽을 선택하는 것이 아니라, 자동화·신뢰성·보정된 의사결정을 위한 새로운 최적화 스택을 만든다는 뜻이다.

2. 질의응답의 마무리

   1. 발표자는 준비한 슬라이드가 끝났고 시간이 초과됐다는 신호가 울렸지만, 이후에도 질문과 반론을 받고 싶다고 말했다.
   2. 마이크를 걱정하지 말고 질문을 외쳐도 되며 상호작용을 좋아한다고 재차 강조했다.
   3. 마지막으로 자신을 ‘완전한 회의론자(complete skeptic)’라고 소개하는 슬라이드를 가리키며, 자신의 문제 제기 방식과 잘 맞는 표현이라고 농담했다.

주요 발언 모음

“오늘날 AI는 인간이 고리에 있는 일에는 놀라울 정도로 뛰어나지만, 자동화 과제에는 그렇지 않다.”

“RLHF의 간단한 답은 인간의 선호를 모으고, 인간의 선호를 최적화하는 것이다.”

“모델을 만든 목적이 인간의 선호를 최적화하는 것이라면, 왜 모든 LLM이 인간을 고리에 필요로 하는지에 대한 답은 모델 안에 인간을 실제로 넣었기 때문이다.”

“Claude Code는 여전히 보조 시대의 일부다.”

“내가 원하는 것은 적시에 만들어지는 소프트웨어만이 아니라 더 똑똑한 소프트웨어다.”

“AI 스택 전체가 신뢰성과 자동화를 위해 다시 설계된다면 어떻게 달라질까?”

“RLHF는 인간 선호를, RLVR은 순수한 정답성을, 우리가 하는 일은 보정된 의사결정을 최적화한다.”

“사전학습은 문제가 아니다. 문제는 그 지능을 어떻게 끌어내는가다.”

핵심 데이터 & 수치

• 1,056초: 영상 길이다.
• 거의 100%: 발표자가 사용량 기준으로 추정한 RLHF 학습 LLM의 비율이다. 공식 산업 통계가 아니라 발표자의 표현이다.
• 2019년 이후: LLM 시대가 시작됐지만 SaaS의 기본 형태가 크게 달라지지 않았다고 평가한 기준점이다.
• 반올림 오차: LLM의 높은 지능에 비해 실제로 완전 자동화된 업무의 비중이 아직 반올림 오차 수준이라는 비유다.
• 3개 최적화 방향: RLHF는 인간 선호, RLVR은 검증 가능한 정답·오류율, Typesafe의 방향은 보정된 의사결정을 북극성으로 삼는다.
• 2가지 AI 평가 극단: 인간 수준을 계속 넘는다는 낙관론과 거품·순환 금융에 불과하다는 비관론이 공존한다.

핵심 요약 (20줄)

1. RLHF는 인간의 선호를 수집하고 그 선호를 최대화하도록 언어 모델을 최적화한다.
2. 인간 선호 최적화는 사람과 대화하며 만족시키는 보조 과제에 강한 결과를 낳는다.
3. 인간 개입을 제거해야 하는 자동화 과제는 정확성과 보정된 판단을 요구한다.
4. 인간을 만족시키는 일과 인간을 없애는 일은 같은 성능 지표로 평가할 수 없다.
5. AI가 벤치마크에서 인간을 넘으면서도 고객지원에 사람을 남기는 이유는 목표가 다르기 때문이다.
6. 고객지원 자동화는 서버에서 보이지 않게 실행되어 장기적으로 레거시 소프트웨어가 되어야 한다.
7. RLHF 모델은 실제 결과보다 인간에게 옳아 보이는 답을 내놓는 방향으로 기울 수 있다.
8. 방귀 효과음도 으스스한 분위기의 음악이라고 칭찬하는 반응은 인간 선호 최적화를 보여준다.
9. 과잉 약속은 RLHF 모델의 실수라기보다 인간 참여를 높이려는 설계의 결과다.
10. 기업은 현재 AI에게 사업상 중요한 결정을 맡기지 않고 위험과 비용을 사용자에게 넘긴다.
11. Claude Code는 강력하지만 사용자의 의도를 대화로 맞추는 보조 도구이므로 자동화 시대를 뜻하지 않는다.
12. RLVR은 검증 가능한 정답을 최적화하지만 RLHF와의 트레이드오프만으로 자동화가 생기지는 않는다.
13. 2019년 이후 SaaS는 챗봇이 옆에 붙었을 뿐 기본적인 소프트웨어 구조가 크게 달라지지 않았다.
14. AI는 소프트웨어 작성 비용을 낮추고 있지만 소프트웨어 자체를 더 똑똑하고 표현력 있게 만들지는 못하고 있다.
15. 자동화는 사람의 업무를 통째로 복제하는 일이 아니라 반복적이고 컴퓨터에 적합한 작업을 새 소프트웨어로 만드는 일이다.
16. Typesafe는 AI 스택 전체를 신뢰성과 자동화를 중심으로 다시 설계하려 한다.
17. 새로운 자동화 스택은 학습 목표뿐 아니라 데이터·평가·실행 API의 형태도 바꿔야 한다.
18. 사전학습은 인터넷 지식을 지능의 핵심으로 압축한 뛰어난 기술이며 문제의 핵심이 아니다.
19. 환각은 인간 선호 보상 모델의 비대칭이 불확실성 대신 자신감을 장려한 결과일 수 있다.
20. 다음 AI의 북극성은 인간 선호나 정답률만이 아니라 보정된 의사결정과 실제 자동화다.

결론 및 시사점

1. 모델 크기보다 목적 함수를 먼저 점검해야 한다: 인간에게 좋아 보이는 답을 원하면서 인간 없는 자동화를 기대하는 것은 설계 목표의 모순이다.
2. 보조와 자동화를 분리해 평가해야 한다: 대화 품질·참여도·지시 충실도와 무인 운영·신뢰성·실패 시 중단은 별도의 기준으로 측정해야 한다.
3. 더 똑똑한 소프트웨어가 최종 목표다: 코드 생성 속도만 올리면 기존 소프트웨어를 싸게 복제할 뿐이며, 업무의 실행 단위와 API 자체를 새로 설계해야 한다.
4. 불확실성을 정직하게 표현해야 한다: 인간 선호 보상이 확신을 과도하게 장려하면 환각을 줄이기 어렵기 때문에 보정된 의사결정과 실패 처리를 학습 목표에 넣어야 한다.
5. 자동화는 전체 스택의 재설계다: 데이터가 컴퓨트보다 중요하고, 올바른 작업을 고르는 일이 데이터보다 중요하므로, 사전학습 모델 위에 보상만 덧붙이는 접근으로는 충분하지 않다.