AI는 부정행위를 쉽게 만든다 — 아이들을 더 똑똑하게 만드는 방법

URL: https://www.youtube.com/watch?v=NsVayi42I0I 날짜: 2026-09-07 채널: Peter Yang

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI가 학습을 대신해 아이를 약하게 만드는 도구가 아니라, 아이가 어려운 문제를 스스로 붙들고 더 깊이 생각하도록 돕는 도구가 되려면 무엇이 필요한가?==

• 현재 AI는 학생이 배우는 과정을 건너뛰고 숙제 답만 얻는 부정행위 도구로 가장 많이 쓰인다.
• 미국 교육은 시험 점수가 떨어지는 동시에 학교 성적 기준을 낮추는 성적 인플레이션(grade inflation)에 기대고 있다.
• Brilliant의 AI 튜터 Cooji는 답이나 설명을 즉시 주는 대신, 학생이 스스로 틀린 이유를 발견하도록 질문과 적절한 난이도 조절을 제공한다.
• 학습 설계와 교육학적 핵심은 사람이 만들고, AI는 사람이 만든 구조화된 구성요소(primitives)를 조합해 구현해야 한다.
• 지속 가능한 AI 교육 제품은 자동 검증이 어려운 실제 학습 데이터, 즉 학생의 오개념과 집중 지속 여부, 효과적인 튜터링 개입에서 경쟁력을 얻는다.

AI가 정답을 내놓는 속도보다 중요한 것은 학습자가 어려움을 견디면서 개념을 자기 힘으로 구성하는 시간이다. 좋은 교육 제품은 참여율이나 완료율을 높이는 쉬운 길보다 실제 평가에서의 학습과 장기 기억을 최적화해야 하며, 아이가 “어려워서 못 하겠다”가 아니라 “열 번 더 시도하면 할 수 있다”고 느끼는 난이도 곡선을 만들어야 한다.

메타데이터

• 콘텐츠 유형: YouTube 심층 다이제스트
• 원문 제목: AI Makes Cheating Easy. Here’s How It Can Make Kids Smarter Instead | Sue Khim
• 발화자: Peter Yang, Sue Khim
• Sue Khim의 역할: Brilliant 공동창업자 겸 CEO
• 핵심 제품: Brilliant, AI 튜터 Cooji
• 주제: AI 교육, 학습 설계, 에이전트 인터페이스, 교육 제품의 데이터 해자
• video_id: NsVayi42I0I
• 원문 자막: 영어 자동 생성 자막(한국어 자동 자막은 429 오류로 미수신)

1. 미국 교육 시스템의 하락과 AI의 기회

미국 교육은 실험과 새로운 해법을 허용하는 장점이 있지만, 성취도 하락을 기준 완화로 가리는 악순환에 빠져 있다.

1.1. 실험의 자유와 성취도 하락

1. 미국 교육의 높은 고점과 낮은 저점

   1. 미국은 다른 나라보다 홈스쿨(home school), 실험 학교(experimental school), 새로운 교육 모델을 시도할 자유가 크다.
   2. 재능 있는 사람들이 새로운 학교를 만들 수 있는 조건이 갖춰져 있다는 점은 독특한 강점이다.
   3. 동시에 전국적으로 시험 점수(test scores)는 내려가는데 학교 성적(grades)은 오히려 올라가는 모순이 나타난다.

2. 기초 학력의 붕괴

   1. 대학들은 과거 강력한 STEM 학위 과정을 운영하던 학생들에게 중학교 수준의 대수학(remedial algebra)을 다시 가르쳐야 하는 상황을 보고한다.
   2. 대학에서 중학교 수준의 수학을 보충해야 한다는 사실은 단순한 입시 성적 문제가 아니라 기초 학습 능력의 후퇴를 의미한다.
   3. 성적 인플레이션은 실제 성취도 하락을 해결하지 않고, 더 많은 학생이 A를 받도록 기준을 낮추는 방식으로 문제를 가린다.

3. 성적 인플레이션의 전염 구조

   1. 한 학교가 성적 기준을 낮춰 많은 학생에게 A를 주면, 다른 학교도 학생과 학부모의 불만을 피하려고 같은 압박을 받는다.
   2. 학교는 학부모를 당장 만족시킬 수 있지만, 실제 성과가 떨어지고 있다는 사실은 학부모에게 불투명하게 남는다.
   3. 표준화 시험 자체도 쉬워지고 학교의 기준도 낮아지면서, 절대적인 성취도 하락이 학교 성적 상승 뒤에 가려진다.
   4. 과거와 비교 가능한 국제 채점 시험(internationally graded exam)이 되어야 이 격차가 드러난다.

4. 하락하는 기준의 사례

   1. AP English 시험은 원래 학부·대학원 수준의 자료를 평가하던 시험에서 고등학교 수준 독해 지문으로, 다시 중학교 수준 지문으로 내려왔다.
   2. 최근 2년 동안 AP English 시험이 중학교 수준의 지문을 다루게 됐다는 변화는 “학생이 못 따라오니 기준을 낮춘다”는 포기의 신호다.

1.2. Peter Yang과 Sue Khim의 서로 다른 학교 경험

1. 중국과 캐나다에서의 대비

   1. Peter Yang은 중국에서 1학년을 다니며 수학을 집중적으로 배우고, 복잡한 필기를 따라 쓰며, 거의 C만 받았던 기억을 떠올린다.
   2. 캐나다 학교로 옮긴 뒤에는 7학년까지 비교적 쉽게 지나가며, 남은 시간에 다른 관심사를 탐색할 여유가 있었다.
   3. 아시아식 교육은 암기와 반복 훈련을 강하게 요구하지만, 북미식 교육은 탐색과 자유 시간을 더 제공한다는 교환관계가 있다.

2. Sue Khim의 이동과 학교 시간

   1. Sue Khim은 미국에서 자랐고 한국에서도 학교를 다녔으며, 어린 시절 여러 번 이사하면서 다양한 교육 환경을 경험했다.
   2. 학교는 하루 시간이 매우 길지만, 실제로 배우는 양에 비해 수업 시간이 과도한 경우가 많다.
   3. 학교는 지식을 가르치는 일 외에도 사회적 기능을 수행하므로, 긴 시간 전체를 순수한 학습 효율만으로 평가하기 어렵다.
   4. Sue Khim 역시 학교에서 지루함을 많이 느꼈는데, 그때보다 시험 기준이 더 쉬워졌다는 사실은 더욱 두렵게 느껴진다.

3. 기준 완화가 학부모에게 작동하는 방식

   1. 학교 유형마다 교사 평가와 운영 기준은 다르며, 차터 스쿨(charter school), 공립학교, 사립학교, 홈스쿨은 각각 다른 인센티브를 가진다.
   2. 그러나 학교가 가장 먼저 반응하는 압력은 학부모의 불만인 경우가 많다.
   3. 표준화 시험이 쉬워지는 상황에서 학교 기준까지 맞춰 낮추면 학부모를 달래기 쉽지만, 학생의 실제 역량은 회복되지 않는다.

1.3. 교실, 인간 튜터, 소프트웨어의 역할

1. 교실이 잘할 수 있는 일

   1. 25명의 학생이 있는 교실은 교사 한 명이 모든 학생에게 개인별 접촉과 관심을 제공하기 어렵다.
   2. 교실의 가장 좋은 용도는 동료 학습(peer learning), 교사의 동기 부여, 학생 간 상호작용, 협업 학습이다.
   3. 인간의 열정은 전염성이 있으므로, 훌륭한 교사는 학생들이 서로 배우고 함께 몰입하는 환경을 만든다.

2. 강의 중심 수업의 한계

   1. 대부분의 학교에서 교실 시간은 동료 간 상호작용보다 강의 전달과 연습에 많이 쓰인다.
   2. 교사가 칠판에 적고 학생이 종이만 바라보는 수업은 인간 교사의 특별한 능력을 가장 잘 쓰는 방식이 아니다.
   3. 교사는 학생을 자극하고 영감을 주기 위해 교직을 선택했지, 칠판에 쓰고 학생이 멍하니 받아 적는 일을 위해 선택한 것은 아니다.

3. 소프트웨어 튜터의 접근성

   1. 인간 일대일 튜터는 매우 비싸서 대부분의 가정이 이용하기 어렵지만, 소프트웨어는 비용과 편의성에서 완전히 다른 규모의 접근성을 제공한다.
   2. 소프트웨어는 실시간 그래픽 상호작용을 제공하고, 학생이 문제를 풀어가는 도중에도 행동을 즉시 조정할 수 있다.
   3. 수많은 학습 데이터와 반복 사례를 바탕으로 특정 개념을 잘 배우는 방식을 찾아 개인화된 복습을 생성할 수 있다.
   4. 교실에서 손을 들기만 해도 무서워하는 학생이 AI 튜터 앞에서는 창피함이나 실패에 대한 두려움 없이 여러 번 시도할 수 있다.

2. AI 부정행위를 학습 노력으로 전환하는 Cooji

AI를 이용해 학습 과정을 건너뛰는 일은 운동을 대신해 주는 로봇 팔을 헬스장에 들고 가는 것과 같으며, Cooji의 역할은 학생이 직접 생각하는 시간을 보호하는 것이다.

2.1. “답을 받는 것”과 “배우는 것”의 차이

1. AI를 이용한 부정행위의 유혹

   1. 학생들은 현재 AI를 주로 숙제 답을 얻는 데 사용한다.
   2. Peter Yang도 AI가 자신을 더 멍청하게 만드는 것처럼 느껴진다고 말한다. 직접 배우는 것보다 AI에게 일을 시키는 편이 훨씬 쉽기 때문이다.
   3. AI에게 학습에 필요한 일을 대신 시키는 것은 운동을 하러 가면서 로봇 팔로 역기를 들어 올리는 것과 같다.
   4. 그 방식은 목표를 달성한 것처럼 보이지만, 실제로 운동하거나 생각한 사람은 학생이 아니다.

2. Brilliant의 제품 철학

   1. Brilliant는 모든 가정에 세계적인 튜터를 제공한다는 목표를 세운다.
   2. 기술은 아이를 더 강하게 만들어야지, 더 멍청하고 약하게 만들어서는 안 된다.
   3. Cooji는 자신이 가진 지능으로 학생이 스스로 생각하는 데 쓰는 시간과 노력을 보호한다.
   4. 좋은 튜터는 답을 빨리 주는 사람이 아니라, 학생이 어려운 일을 직접 붙들고 생각하도록 돕는 사람이다.

2.2. 분수 문제에서 정답과 설명을 일부러 늦추는 방식

1. 실제 학습 장면의 구조

   1. 학생은 답을 확인하고 틀린 것을 알아낸 뒤 Cooji와 대화를 주고받는다.
   2. 개인정보 보호를 위해 실제 음성 대화는 공개되지 않지만, 학습자가 문제를 풀다 막히는 과정과 튜터의 대응 구조는 재생된다.
   3. 학생은 도형의 일부를 색칠해 51/12를 만드는 분수 문제를 푼다.

2. 학생이 발견해야 하는 오개념

   1. 학생은 직관적으로 도형의 다섯 부분을 색칠한다.
   2. 그러나 각 도형 조각의 값이 서로 다르므로, 다섯 조각을 색칠했다는 사실만으로 51/12가 되지는 않는다.
   3. 학생은 “5”라는 부분은 이해했지만, “12분의 1”이 어떻게 구성되는지는 이해하지 못한다.
   4. Cooji는 정답을 말하거나 “각 조각의 값이 다르다”고 바로 설명하지 않고, 학생이 왜 틀렸는지 스스로 발견하게 한다.

3. 설명도 때로는 부정행위에 가까운 이유

   1. 설명은 듣는 사람에게 기분 좋은 이해의 느낌을 주지만, 설명을 듣는 동안 실제 사고 작업은 다른 사람이 대신한다.
   2. 부모나 교사가 아이 곁에 서서 자연스럽게 해 주는 설명도, 학습자가 이미 어느 정도 이해한 경우가 아니면 문제를 해결하는 데 충분히 효과적이지 않을 수 있다.
   3. 부정행위와 즉석 설명은 모두 학습자를 문제의 책임에서 풀어 주는 방식이라는 공통점이 있다.
   4. 학생이 “왜 틀렸지?”를 오래 붙들고 스스로 통찰을 얻는 세션이, “이게 틀린 이유는 이것이야”라는 설명을 듣는 세션보다 더 강력한 학습을 만든다.

2.3. 난이도, 동기, 개입의 균형

1. 쉬운 시작과 점진적 난이도

   1. Peter Yang의 아이는 처음에는 Cooji와 대화하지 않고도 문제를 풀 수 있을 만큼 쉬운 단계에서 시작했다.
   2. 아이가 문제를 풀며 점차 어려운 단계로 올라가자, Peter는 화면 왼쪽의 아바타에게 말을 걸 수 있다는 것을 알려 주었다.
   3. Cooji는 답을 설명하지 않고 여러 질문을 던져 아이가 단계별로 답에 접근하게 했다.

2. AI 이전에 필요한 제품 설계

   1. 제품은 학습자의 속도(pacing), 피드백(feedback), 힌트(hint)를 조절해 학습자가 한 번에 감당할 수 있는 다음 단계로 이동하게 한다.
   2. 학습자는 무언가를 조작하고, 예측하고, 아이디어를 시험하고, 사용자 인터페이스에서 결과를 받으면서 능동적으로 참여한다.
   3. 작은 상호작용이 축적되면 학습자는 어느 순간 “아, 이제 알겠다”는 통찰에 도달한다.

3. Cooji의 실시간 판단

   1. 좋은 튜터의 핵심은 개념을 설명할 수 있는지가 아니라 학생의 다음 행동을 판단하는 능력이다.
   2. 학생이 무엇을 혼동하는지, 힌트를 받을 준비가 됐는지, 작은 실수인지 더 큰 개념의 공백인지 판별해야 한다.
   3. 문제를 단순화할지, 그림을 그리게 할지, 학생이 1분 더 혼자 씨름하게 둘지를 선택해야 한다.
   4. AI 쪽에서는 Cooji의 성격(personality)과 교육학(pedagogy)이 이 판단을 수행하며, 현재 가장 활발히 개선되는 영역이다.

4. 단기 참여율보다 어려움을 견디는 힘

   1. 학생이 너무 좌절하면 이탈해 아예 배우지 못하고, 너무 쉽게 도와주면 가장 효과적인 사고 기회를 잃는다.
   2. Brilliant는 Cooji 베타를 6개월 이상 운영했고, 정식 출시 후 몇 주 동안 학습자가 더 오래 지속하는 비율이 매달 개선되는 것을 확인했다.
   3. Brilliant가 학습자에게 요구하는 핵심 행동은 “어려운 것을 계속 붙드는 것”이다.
   4. 답이나 문제를 완전히 풀어 주는 힌트를 제공하면 단기 참여와 편안함은 올라가지만, 장기적으로는 제품이 도달할 수 있는 국소 최적(local maximum)에 갇힌다.
   5. 교사와 부모도 아이가 포기하려는 순간 답을 말해 주고 싶은 유혹을 느끼지만, 훌륭한 튜터의 마법은 집중과 사고를 지속할 수 있는 시간을 늘리는 판단에 있다.

3. AI 네이티브 교육 제품을 만드는 방법

AI 모델의 강한 부분만 제한된 구조 안에서 사용하고, 학습의 핵심 설계와 품질 판단은 사람에게 남겨야 한다.

3.1. 사람은 학습 경험을 설계하고 AI는 구현한다

1. 좌표 평면 수업의 사례

   1. 학습 디자이너(learning designer)가 좌표 평면(coordinate plane)을 가르칠 수업의 흐름을 먼저 스케치한다.
   2. Codex나 Claude에 Brilliant의 콘텐츠와 교육학적 개입 전체를 학습시킨 뒤 콘텐츠를 처음부터 생성하게 해도, 겉보기에는 맞지만 마스터 교사가 만든 품질에는 크게 못 미친다.
   3. 학생은 엉성한 순서와 뒤섞인 교육 흐름 때문에 좌절하며, 모델이 만든 그럴듯한 결과를 실제 학습 경험으로 받아들이지 못한다.

2. 인간 설계의 우선순위

   1. Brilliant의 모든 개념에 대한 핵심 스토리와 교육학(pedagogy)은 사람이 설계한다.
   2. 사람이 각 질문, 질문의 순서, 오개념에 대응할 개입을 결정한다.
   3. AI는 사람의 설계를 실제 상호작용 수업으로 구현하고, 설계자가 만든 의도에서 벗어나지 않게 실행한다.

3. 엔드투엔드 LLM의 한계

   1. 사용자가 모델과 대화하면 모델이 다른 모델을 호출하고, 여러 모델이 마법처럼 문제를 해결하는 엔드투엔드(end-to-end) 구조는 매력적으로 보인다.
   2. 그러나 튜터링은 열두 가지 이상의 서로 다른 작업으로 이루어져 있으며, AI 모델은 작업마다 능력의 편차가 크다.
   3. AI가 잘하는 구현 작업과 못하는 교육 경험 설계가 섞이면, 못하는 부분이 전체 제품 경험을 망친다.

3.2. “AI는 중간 단계의 해법”이라는 제품 원칙

1. 스파이키한 모델(spiky model)

   1. AI 모델은 어떤 일에는 놀라울 정도로 뛰어나지만, 다른 일에는 형편없는 불균형한 능력 구조를 가진다.
   2. Brilliant는 모델이 잘하는 일과 못하는 일을 분리해 잘하는 부분에만 AI를 배치한다.
   3. 모델이 잘하는 구현을 활용하되, 참여를 끌어내는 상호작용 학습 경험을 모델이 임의로 환각하게 두지 않는다.

2. 코딩과 교육의 공통점

   1. AI는 작동하는 코드를 쓰는 일에는 매우 뛰어나지만, 시스템 아키텍처(architecture)를 설계하는 일에는 상대적으로 약하다.
   2. 교육에서도 AI는 사람이 설계한 수업을 구현하는 데는 강하지만, 처음부터 훌륭한 교육학적 흐름과 몰입감 있는 인터랙티브 수업을 만드는 일에는 약하다.
   3. 계획(planning)과 검증(verification)은 사람이 맡고, 반복적인 실행(execution)은 AI가 맡는 구조가 더 안정적이다.

3. AI 슬롭(slop)의 위험

   1. 누구나 Claude 같은 모델로 좌표 평면 수업 200개를 빠르게 생성할 수 있지만, 충분히 검토하지 않으면 양만 많은 교육 슬롭(educational slop)이 쌓인다.
   2. AI로 만든 교육 콘텐츠가 형편없으면 학생들은 읽는 순간 알아차리고, 좌절해 이탈한다.
   3. 제품 안에 슬롭이 충분히 쌓이면 어떤 부분이 인간의 공예적 설계인지, 어떤 부분이 자동 생성된 부실한 결과인지 구분하기 어려워지고 제품 전체가 슬롭이 된다.
   4. 교육 제품에서 사람들은 품질을 알아차리지 못할 것 같아도 실제 참여 지표에서 곧바로 드러난다.

3.3. 에이전트 인터페이스와 구성요소 라이브러리

1. 사용자 UI와 에이전트 UI의 병행

   1. AI 네이티브 소비자 제품은 아이가 사용하는 사용자 인터페이스(user interface)뿐 아니라 에이전트 인터페이스(agent interface)도 가져야 한다.
   2. 사용자 UI가 즐거움, 직관성, 편리함, 시각적 완성도를 제공한다면, 에이전트 UI는 모델이 제품 목표에 맞게 행동하도록 도구, 액션, 스킬, 하네스(harness)를 제공한다.
   3. 에이전트 인터페이스는 모델의 지능을 제품에서 중요한 행동과 연결하는 설계층이다.

2. quadratics primitives library

   1. Brilliant는 이차방정식(quadratics)을 가르치는 인터랙티브 앱을 만들며 수많은 모듈형 구성요소(primitives)를 라이브러리로 구축했다.
   2. 각 구성요소에는 모델이 문제를 생성하고, 문제에 주석을 달고, 특정 부분을 강조하고, 하위 질문을 요청할 수 있는 API가 있다.
   3. 구성요소들은 서로 통신하고 LLM과도 통신하며, 모델이 멀티모달 출력을 처음부터 환각하지 않게 한다.
   4. 모델은 어떤 출력을 만들어야 하는지 전부 상상하는 대신, 이미 정의된 스키마를 탐색해 정확한 구성요소를 조합한다.

3. 구조화가 만드는 속도와 신뢰성

   1. 구성요소 라이브러리는 결정론적 기반(deterministic grounding)을 제공해 지연 시간(latency), 정확도(accuracy), 신뢰성(reliability)을 함께 개선한다.
   2. 그래프 모듈을 만든 엔지니어의 작업, 학습 설계팀의 가이드라인, 디자이너의 스케치를 에이전트가 연결해 실제 수업으로 조립한다.
   3. 모델은 사용자 UI에서 들어오는 멀티모달 입력을 해석하고, 라이브러리 안에서 적절한 멀티모달 출력을 선택한다.
   4. 더 많은 구조를 제공해 모델이 덜 추론하도록 만들면 제품의 속도와 정확성에 큰 이점이 생긴다.

4. 대규모 콘텐츠 구축

   1. Algebra 1만 다루는 데도 수천 개의 모듈이 필요하다.
   2. 각 모듈은 사용자가 실시간으로 무엇을 하는지 읽고 쓸 수 있는 모델 인터페이스와 결합된다.
   3. 이렇게 제한된 구조 안에서 AI는 멀티모달 입력을 받고 다음에 무엇을 할지 추론하는 능력을 발휘한다.

3.4. 모든 직원의 일이 에이전트 인터페이스 설계로 바뀌는 방식

1. 각 영역을 위한 내부 인터페이스

   1. Brilliant에서 사용자용 무언가를 설계하는 사람은 동시에 에이전트가 그 영역을 다루는 방식도 설계해야 한다.
   2. AI는 여러 인터랙티브 학습 도구를 이어 주는 접착제이자 결합 조직(connective tissue)이다.
   3. Brilliant의 어떤 직원이든 에이전트와 함께 좋은 정보를 얻고 좋은 변경을 만들도록 도구와 문서가 연결돼야 한다.

2. 첫날부터 영향력을 내는 온보딩

   1. 새로운 직원이 첫날부터 회사의 지식을 활용하도록 “무엇을 가르치는가, 어떤 도구가 있는가, AI는 무엇에 쓰는가, 인간은 왜 그 일을 하는가”를 인터페이스와 문서에 녹인다.
   2. 예전에는 직원이 위키를 읽고 일대일 미팅을 하며 내부 지식을 습득했고, 회사는 그 위키와 미팅 내용을 계속 최신 상태로 관리해야 했다.
   3. AI가 업무 흐름에 연결된 “스스로 작성하는 위키”가 되면 지식 관리의 부담이 크게 줄어든다.
   4. 그러나 온보딩의 핵심 원칙은 여전히 학습은 해 보면서 배운다는 것(learn by doing)이다.

3. 실제 제품을 배송하는 방식

   1. Brilliant는 기술 직원을 가능한 한 빨리 무언가를 출시하게 하며, 아이디어가 사용자에게 전달되는 전 과정을 직접 겪게 한다.
   2. 학습 디자이너도 도구를 충분히 다뤄 실제 사용자에게 수업을 배송할 수 있어야 한다.
   3. 가장 이상적인 온보딩은 입사 첫날 사용자에게 영향을 주는 무언가를 출시할 수 있게 만드는 것이다.
   4. 직원은 단순히 물건을 만드는 것이 아니라, 물건을 만드는 기계와 시스템을 함께 만든다.

4. 교육 콘텐츠 품질을 검증하는 방법

자동 평가, 합성 학생, 점진적 출시를 사용하되, 최종 품질 판단은 숙련된 인간과 실제 학습자의 데이터에 둔다.

4.1. 구성요소·수업·튜터링의 다층 평가

1. 기능 정확성 이상의 평가

   1. 구성요소마다 평가(evals)를 실행하지만, 정답이 맞는지만 검사하지 않는다.
   2. 물리 법칙을 지키는지, 시각 요소가 서로 겹치지 않는지, 터치 영역(tap target)이 충분히 넓은지 등 여러 축에서 평가한다.
   3. 인터랙티브 제품은 코드가 실행되는 것만으로 충분하지 않고, 화면과 상호작용이 실제 학습에 적합해야 한다.

2. 인간 리뷰어의 역할

   1. 출시하는 모든 콘텐츠에는 여러 명의 인간 리뷰어가 참여한다.
   2. 학습 디자이너는 특정 교육 영역의 공예적 품질, 판단력, 취향을 위해 채용된 사람이다.
   3. 인간이 먼저 좋은지 나쁜지를 판단하고, 자동 평가는 그 판단을 보조하는 안전망 역할을 한다.

3. 합성 학생(synthetic students)

   1. 한 수업에 약 1,000개의 튜터링 세션을 합성 학생으로 돌려, 사용자가 갈 수 있는 여러 경로의 개입이 말이 되는지 확인한다.
   2. 합성 학생은 일부러 잘못된 방향으로 가는 적대적 경로(adversarial path)나 불만이 많은 경로(unhappy path)를 선택한다.
   3. 튜터가 잘못된 길로 간 학생을 구해 내는지, 개입이 대화와 학습 목표에 맞는지 확인한다.
   4. 다양한 성격을 가진 학생, 너무 영리해서 단계를 건너뛰는 학생, 규칙을 잘못 이해하는 학생을 모사할 수 있다.
   5. 합성 데이터의 품질은 실제 인간 데이터의 약 20% 수준으로 느껴지지만, 심각한 오류를 출시 전에 찾는 데는 유용하다.

4. 점진적 출시와 실제 데이터

   1. 콘텐츠는 여러 체크포인트를 거쳐 사용자에게 점진적으로 롤아웃된다.
   2. 수만 명의 학생이 하나의 개념을 학습하면, 그 개념을 어떻게 가르쳐야 실제로 이해하는지 훨씬 포괄적인 데이터가 쌓인다.
   3. 실제 학생의 세션을 보고, 실제 오개념과 집중 이탈을 관찰하는 일은 합성 학생으로 대체할 수 없다.

4.2. 완료율 대신 실제 학습을 측정하기

1. 완료율을 최적화하지 않는 이유

   1. Brilliant가 가장 중요하게 보는 지표는 수업 완료율이 아니라 평가(assessment)에서의 수행이다.
   2. 완료율만 높이려 하면 문제를 지나치게 쉽게 만들 수 있다.
   3. 과정의 목표는 모든 노드를 끝내는 것이 아니라 학습자가 필요한 일을 실제로 할 수 있게 되는 것이다.

2. 역방향 설계(backward design)

   1. 코스는 한 챕터가 끝났을 때 사용자가 무엇을 할 수 있어야 하는지 먼저 정하는 방식으로 설계한다.
   2. 모든 학습 순서는 그 능력을 실제로 얻었는지를 기준으로 측정한다.
   3. 더 적은 노드를 완료하고 더 짧은 시간에 같은 능력을 얻었다면, 그것은 실패가 아니라 학습이 효율적이었다는 뜻이다.
   4. 학습자가 심하게 고전한다면 해당 코스를 끝내는 것보다 훨씬 앞선 기초 개념으로 돌아가는 일이 더 나은 목표일 수 있다.

3. 즉시·단기·장기 기억의 확인

   1. 중요한 질문은 학습자가 지금 그 일을 할 수 있는지다.
   2. 일주일 뒤에도 할 수 있는지, 한 달 뒤에도 기억을 유지한 채 할 수 있는지까지 확인해야 한다.
   3. Brilliant는 개별 레슨의 연습과 평가, 마지막의 종합 평가(summative assessment)를 결합한다.
   4. 미국 교육에서 시험을 많이 보는 것이 그다지 환영받지 못하더라도, 소비자 제품은 무엇이 효과적인지 직접 실험할 수 있다.
   5. 평가를 가까이 배치할지 멀리 배치할지, 한 번에 얼마나 넓은 범위를 테스트할지 실제 사용량을 바탕으로 빠르게 시험한다.

5. 지속 가능한 AI 제품과 데이터 해자

AI 제품의 방어력은 모델을 한 번 붙였다는 사실이 아니라, 사용 과정에서만 얻을 수 있는 고유한 데이터와 그 데이터가 만드는 학습 루프에서 나온다.

5.1. 자동 검증 가능한 영역과 검증이 어려운 영역

1. 프런티어 랩이 쉽게 따라오는 영역

   1. 코딩처럼 결과를 자동으로 검증할 수 있는 영역에서는 프런티어 AI 연구소가 모델 규모와 강화학습(RL)으로 스타트업을 추월할 가능성이 크다.
   2. 큰 모델 회사가 어떤 도메인에서 보상 함수를 만들고 RL을 적용할 수 있다면, 작은 제품이 차별화하기 어렵다.
   3. 매우 좁은 틈새시장이 아니라면, 단순히 같은 모델을 감싼 제품은 순수한 규모 경쟁에서 밀릴 수 있다.

2. 튜터링의 비자동 검증 특성

   1. 튜터링의 성공 기준은 모델이 정답을 내는지가 아니라 실제 학생이 무언가를 잘 배웠는지, 과제에 주의를 지속했는지다.
   2. 이 결과는 자동화된 보상 함수로 즉시 측정하기 어렵고, 실제 학습 세션과 시간이 필요하다.
   3. 학생의 실수와 오개념, 가장 효과적인 개입, 집중을 유지하는 방식은 수많은 실제 세션을 통해서만 발견된다.

5.2. 실제 학생 데이터가 만드는 제품 플라이휠

1. 수십억 문제 풀이에서 얻는 튜터링 본능

   1. Brilliant는 그래픽 기반의 새로운 튜터링 환경에서 학생 데이터를 축적한다.
   2. 수십억 개의 문제 풀이를 거치며 어떤 개입이 효과적인지, 학생이 어디에서 막히는지, 어떤 순서가 집중을 유지하는지 배운다.
   3. 이 데이터로 튜터링 본능을 모델 가중치에 반영하고, 특정 학습 관점에 최적화된 수직 통합 경험을 만든다.
   4. 제품이 실제 사용을 통해 데이터를 만들고, 데이터가 다시 제품을 개선하는 플라이휠(flywheel)이 형성된다.

2. ChatGPT의 숙제 데이터와 다른 점

   1. 학생이 ChatGPT에 숙제를 통째로 넣고 답을 받으면, 대화는 답을 내놓는 즉시 끝난다.
   2. OpenAI는 학생이 숙제에서 무엇을 물었는지는 알 수 있지만, 학생이 실제로 배웠는지는 알 수 없다.
   3. 그런 상호작용은 학생의 오개념이나 집중 지속 여부를 알려 주지 않으므로, 학습 튜터를 개선하는 유용한 데이터가 아니다.
   4. 답안에 포함된 문제 정보와 학습 결과를 구분하지 않으면, 답을 제공한 일을 학습을 도운 일로 착각하게 된다.

5.3. 숙제 인센티브를 다시 설계하기

1. 숙제 점수의 역효과

   1. 미국에서는 숙제가 성적에 반영되는 경우가 많아 학생이 숙제를 빨리 끝내는 것이 성적을 얻는 직접적인 수단이 된다.
   2. 다른 나라에서는 숙제를 성적에 포함하지 않고 시험으로 평가하는 경우가 있어, 숙제가 시험 준비를 위한 반복 훈련이라는 목적이 더 분명하다.
   3. 미국 학생은 숙제 부정행위가 시험 성적을 높여 주지 않는다는 사실을 이해할 수 있지만, 현재 제도는 숙제 자체에 점수를 부여해 지름길을 유인한다.

2. 아이들이 최단 경로를 찾는 이유

   1. 아이들은 바보가 아니며, “이것을 해서 좋은 성적을 받는 것이 목적”이라고 알려 주면 그 목적을 가장 싸고 빠르게 달성할 방법을 찾는다.
   2. 답을 베껴도 점수를 받을 수 있다면, 답을 베끼는 행동은 시스템의 인센티브가 만든 합리적 반응이다.
   3. 애초에 숙제의 목적은 시험에 필요한 반복 훈련이었는데, 점수 자체가 목적이 되면서 교육의 본래 의도가 사라졌다.

3. 프로젝트와 실제 결과물

   1. 숙제는 답안지를 정확히 채웠는지보다 무엇을 만들었는지, 어떤 결과물을 완성했는지를 평가하는 프로젝트형 과제로 바뀔 수 있다.
   2. 학습 설계는 학생에게 실제로 어떤 일을 하게 할지, 어떤 결과를 측정할지를 먼저 물어야 한다.
   3. AI 시대의 핵심은 부정행위를 막는 감시 경쟁만이 아니라, 부정행위가 목표 달성에 도움이 되지 않는 평가 구조를 만드는 것이다.

6. 부모가 아이에게 길러 주어야 할 능력

성적보다 집중력, 자기 주도적 관심, 어려움을 견디는 감각, 새로운 문제를 두려워하지 않는 태도가 장기적인 학습 능력을 만든다.

6.1. Sue Khim의 자유방임형 성장 경험

1. 성적표보다 높은 기준

   1. Sue Khim의 부모는 성적표를 거의 확인하지 않았고, 학교는 아이의 일이지 부모의 일이 아니라고 분명히 말했다.
   2. 부모가 숙제를 도와주지 않아 아이가 숙제를 못 하면 그것은 아이가 감당할 일이라는 태도를 취했다.
   3. 그러나 방임은 기준이 낮다는 뜻이 아니었다. 부모는 위대한 일을 이루는 일이 매우 어렵다는 사실을 자주 말했고, 스스로 어려운 일에 겁먹지 않는 모습을 보였다.
   4. 자신의 재능을 사용해 정말 어려운 문제를 해결해야 한다는 높은 기대를 심어 주었다.

2. 전기와 끈기의 이야기

   1. 부모는 Marie Curie처럼 누구도 풀지 못한 문제를 오랫동안 붙들고 일한 사람들의 전기를 많이 사 주었다.
   2. Marie Curie가 방사선 중독 위험을 감수하며 연구했다는 극단적인 이야기는, 위대한 성취가 오랜 노동과 고통을 포함한다는 메시지를 전달했다.
   3. 이 방식은 아이가 쉽게 답을 얻는 것보다 힘든 문제에 시간을 쓰는 일을 정상적인 성장 과정으로 받아들이게 만든다.

6.2. 집중과 자기 관심을 기르는 방식

1. 어린 아이에게 필요한 목표

   1. Sue Khim의 아이들은 당시 다섯 살과 세 살로 아직 어리며, 부모가 가장 주의 깊게 보는 능력은 집중(concentration)과 주의(attention)다.
   2. 아이들이 서로 다른 관심사를 탐색하도록 공간을 만들고, 자신의 관심사에 깊이 몰입하도록 돕는다.
   3. 학습은 새로 배우는 일이므로 어렵게 느껴져야 하지만, 동시에 매우 만족스러울 수 있다는 감각을 반복해서 경험하게 한다.

2. 수학에 한정되지 않는 어려운 배움

   1. 어려운 일을 배우는 경험은 무언가를 만드는 일, 원숭이바(monkey bars)를 하는 일, 체스 클럽에 들어가는 일에서도 생긴다.
   2. 레모네이드 가판대를 운영하거나 마술을 배우는 일도 집중과 반복, 실패를 견디는 연습이 된다.
   3. 아이가 학습을 권위자에게 잘 보이기 위한 답안 작성으로 여기기 시작하면, 배움의 본질을 잃고 다시 되돌리기 어려워진다.

3. 답이 아니라 답을 찾는 힘

   1. 학습의 목표는 정답 자체가 아니라 정답을 찾을 수 있는 집중력과 사고력을 강화하는 것이다.
   2. 아이가 새로운 문제를 시도하는 일을 두려워하지 않고, 막히더라도 스스로 생각을 이어 가도록 도와야 한다.
   3. 부모가 가장 관심을 가져야 할 질문은 아이가 혼자 얼마나 깊은 토끼굴(rabbit hole)까지 내려갈 수 있는가다.

6.3. 난이도 곡선과 Mario 비유

1. 좋아하는 일도 어려워진다

   1. Peter Yang은 아이가 좋아하는 일을 찾게 하는 것만으로는 충분하지 않고, 좋아하는 일도 실력을 쌓으려면 결국 어려워진다고 말한다.
   2. 아이가 바이브 코딩(vibe coding) 게임을 좋아해도 버그를 만나면 자신이 게임에 소질이 없다고 생각하며 의욕을 잃을 수 있다.
   3. 부모는 아이가 “나는 못 해”라는 결론에 이르지 않도록 다시 시도할 이유와 보상을 제공해야 한다.

2. Mario가 보여 주는 최적의 난이도

   1. Mario를 할 때 아이는 어느 순간 “나는 Mario를 못 하도록 태어났다”고 생각하지 않는다.
   2. 다음 점프는 어렵지만, 열 번만 더 시도하면 성공할 수 있을 것처럼 구조화돼 있기 때문이다.
   3. 학습 제품도 학생의 능력 바로 가장자리(edge of difficulty)에 난이도를 배치하고, 다음 시도가 가능하다고 느끼게 해야 한다.

3. 어려움을 견디는 자기 효능감

   1. 학습은 점점 어려워지고 더 많은 노력을 요구하지만, 자신이 그것을 해낼 수 있다는 믿음을 길러야 한다.
   2. 다른 사람이 포기했을 법한 일을 해냈다는 성취감은 단순한 지식보다 오래가는 자산이다.
   3. 어려운 일에 기꺼이 뛰어드는 마음(willingness to do something hard)은 어린 시절 교육에서 얻을 수 있는 가장 중요한 결과 중 하나다.

7. 접근성, 높은 기대, Brilliant의 방향

좋은 교육은 소수의 고가 사교육에 갇히지 않고 접근 가능해야 하며, 아이의 능력을 과소평가하지 않는 높은 기준을 가져야 한다.

7.1. 고가 사교육과 접근성

1. 사립학교 비용의 현실

   1. 샌프란시스코 베이 지역의 사립학교는 연간 약 5만 달러에 달하는 경우가 있다.
   2. 이런 환경에서 Brilliant가 저렴하고 접근하기 쉬운 제품을 만드는 것은 세계적인 튜터를 더 많은 가정에 제공한다는 목표와 연결된다.
   3. Peter Yang은 교육 스타트업을 만드는 일이 모바일 게임을 만드는 것보다 훨씬 어렵지만, 모든 아이에게 큰 잠재력을 가질 수 있다고 평가한다.

2. 대상 연령과 확장

   1. Brilliant의 핵심 제품은 중학생과 고등학생을 위해 만들어졌다.
   2. Peter Yang의 아이처럼 더 어린 학생도 코딩 과정을 상당히 진행할 수 있어, 어린 학습자를 위한 확장 가능성을 보여 준다.
   3. 아이들은 자신이 생각하는 것보다 훨씬 많은 것을 할 수 있으며, 1학년 학생도 설명을 잘하면 대수학을 이해할 수 있다.

7.2. 높은 기준이 만드는 가능성

1. 8학년 대수학 논쟁

   1. 캘리포니아에서는 8학년에 대수학을 가르쳐도 되는지를 두고 논쟁이 벌어진다.
   2. 아이가 어렵다는 이유로 기준을 낮추기보다 높은 기준을 세우면, 아이들이 할 수 있는 일의 범위에 놀라게 된다.
   3. 높은 기대는 성적 인플레이션과 반대 방향으로 작동하며, 실제 능력 향상을 목표로 한다.

2. Brilliant를 찾는 방법

   1. Brilliant는 brilliant.org 웹사이트에서 이용할 수 있다.
   2. App Store와 Play Store에서 앱을 제공한다.
   3. Brilliant의 공식 트위터 계정은 업데이트와 곧 출시될 기능의 미리보기를 게시하며, Sue Khim은 개인 계정으로 활동한다.

주요 발언 모음

“AI를 사용해 배우는 부분을 건너뛰는 것은 운동을 하러 가면서 로봇 팔을 데려와 대신 역기를 들게 하는 것과 같다.”

“설명은 기분 좋게 느껴지지만, 그 순간 스스로 작업하고 있는 것은 아니다.”

“부정행위와 설명은 생각보다 가깝다. 둘 다 학습자를 책임에서 벗어나게 하는 방법이다.”

“우리가 진정으로 초지능을 갖고 있다면, 학습자가 어려운 일을 붙들고 실제로 스스로 사용하게 만들어야 한다.”

“AI는 중간 단계의 해법이지, 처음부터 끝까지의 해법은 아니다.”

“큰 모델 회사가 당신의 도메인에 강화학습을 적용할 수 있다면, 그들은 당신을 산 채로 먹어 치울 것이다.”

“학습은 답에 관한 것이 아니다. 답을 찾고, 집중하고, 씨름하고, 새로운 문제를 시도하는 자신을 강화하는 일이다.”

“다음 점프는 정말 어렵지만, 열 번 더 시도하면 할 수 있을 것처럼 느껴져야 한다.”

핵심 데이터 & 수치

• 10년 이상: Sue Khim은 AI와 교육을 10년 넘게 고민해 왔다.
• 25명: 한 교실에 약 25명의 학생이 있으면 교사가 모든 학생에게 개인별 관심을 주기 어렵다.
• 중학교 수준: 대학 STEM 과정이 중학교 수준의 보충 대수학을 제공해야 할 정도로 기초 수학 능력이 떨어지고 있다.
• 최근 2년: AP English 시험 독해 지문이 고등학교 수준에서 중학교 수준으로 더 낮아진 기간으로 언급된다.
• 6개월 이상: Cooji 베타 운영 기간이다.
• 몇 주: Cooji 정식 출시 후 초기 관찰 기간이며, 학습자 지속성이 매달 개선되고 있다.
• 12개 이상 작업: 튜터링 하나가 포함하는 서로 다른 작업의 대략적인 규모다.
• 수천 개: Algebra 1을 다루기 위해 필요한 Brilliant 모듈 규모다.
• 약 1,000세션: 하나의 수업에 합성 학생을 투입해 튜터링 경로를 점검하는 규모다.
• 약 20%: 합성 학생 데이터가 실제 인간 데이터에 비해 유용하다고 느끼는 상대적 수준이다.
• 수만 명: 하나의 개념을 실제로 학습하면 얻을 수 있는 학생 데이터 규모다.
• 수십억 문제: 그래픽 튜터링 환경에서 튜터링 본능을 개선하는 데 활용되는 문제 풀이 규모다.
• 약 5만 달러/년: 베이 지역 일부 사립학교의 연간 비용 사례다.
• 5세와 3세: Sue Khim의 어린 자녀 나이다.
• 5세와 8세: Peter Yang의 자녀 나이다.
• 10번 더 시도: Mario식 학습 곡선에서 어려운 다음 단계에 다시 도전할 수 있다고 느끼는 횟수의 비유다.
• 8학년: 캘리포니아에서 대수학을 가르칠지 논쟁하는 학년이다.

결론 및 시사점

1. AI 교육의 성공 기준을 바꿔야 한다: 답을 빠르게 주는 능력이나 수업 완료율이 아니라, 학생이 실제로 개념을 수행하고 일주일·한 달 뒤에도 기억하는지를 측정해야 한다.
2. 어려움을 제거하지 말고 설계해야 한다: 학생이 너무 좌절해 이탈하지 않으면서도 정답을 바로 받지 않도록, 능력의 가장자리에 맞는 난이도와 질문을 제공해야 한다.
3. 설계와 실행을 분리해야 한다: 사람은 교육학, 질문 순서, 오개념, 품질 기준을 설계하고 AI는 구성요소 라이브러리 안에서 빠르고 안정적으로 구현해야 한다.
4. 에이전트 인터페이스가 새로운 제품 기반이 된다: API, 스키마, 프리미티브, 내부 문서가 모델을 제품의 목적에 맞게 제한하며, 사용자 UI만으로는 얻을 수 없는 신뢰성과 재사용성을 만든다.
5. 합성 평가만으로는 부족하다: 자동 평가와 합성 학생은 출시 전 오류를 잡는 보조 장치이고, 실제 학생의 실수·오개념·집중·장기 기억 데이터가 교육 품질의 최종 근거다.
6. 숙제 부정행위는 인센티브 문제다: AI를 감시하는 것만으로는 부족하며, 숙제가 점수 자체가 아니라 시험과 실제 능력을 위한 반복 훈련이 되도록 평가 구조를 다시 만들어야 한다.
7. 데이터가 방어 가능한 AI 제품을 만든다: 자동 검증이 어려운 실제 학습 결과를 꾸준히 수집하고, 그 데이터를 모델과 제품 개선에 다시 투입하는 플라이휠이 장기 경쟁력이다.
8. 부모와 교육자는 높은 기준과 집중을 길러야 한다: 아이가 정답이나 권위자 만족을 좇기보다 자기 관심사에 몰입하고, 어려운 문제를 여러 번 시도하며, 새로운 문제를 두려워하지 않게 해야 한다.
9. 접근성과 높은 기대는 함께 가야 한다: 교육을 저렴하게 제공하는 것과 아이가 할 수 있는 수준을 낮추지 않는 것은 양립할 수 있으며, 세계적인 튜터는 더 많은 가정에 열려 있어야 한다.

핵심 요약 (20줄)

1. AI는 현재 학생이 학습 과정을 건너뛰고 숙제 답을 얻는 부정행위 도구로 가장 많이 사용된다.
2. AI에게 사고와 문제 풀이를 대신 시키는 일은 로봇 팔에게 운동을 맡기는 것처럼 학습의 목적을 잃게 한다.
3. 미국은 새로운 학교와 교육 실험을 허용하지만 시험 점수 하락과 성적 인플레이션이라는 심각한 문제를 겪고 있다.
4. 학교 성적 기준을 낮추면 학부모는 잠시 만족하지만 학생의 실제 기초 역량은 회복되지 않는다.
5. 대학에서 중학교 수준 대수학을 다시 가르치는 현상은 STEM 기초 학력의 후퇴를 보여 준다.
6. 교실은 강의 전달보다 동료 학습과 교사의 동기 부여에 시간을 써야 한다.
7. 소프트웨어 튜터는 인간 튜터보다 저렴하고 개인화된 피드백과 실패해도 안전한 연습 환경을 제공한다.
8. Brilliant의 Cooji는 정답과 설명을 즉시 주지 않고 학생이 스스로 오개념을 발견하도록 질문한다.
9. 분수 문제에서 학생은 도형 다섯 조각을 색칠했지만 각 조각의 값이 다르다는 사실을 직접 깨달아야 한다.
10. 설명은 유용해 보이지만 학습자가 직접 사고하는 일을 대신한다는 점에서 부정행위와 가까워질 수 있다.
11. 좋은 튜터는 학생의 혼동, 실수, 좌절, 힌트 필요성을 판단해 다음 행동을 선택한다.
12. Brilliant는 단기 참여율보다 학생이 어려운 문제를 계속 붙드는 능력을 우선한다.
13. 사람은 학습 경험과 교육학을 설계하고 AI는 구조화된 구성요소를 이용해 수업을 구현해야 한다.
14. 엔드투엔드 LLM은 교육 경험 설계처럼 모델이 약한 부분까지 제품 전체를 지배하게 만들 위험이 있다.
15. 에이전트 인터페이스와 primitives library는 모델이 문제·주석·강조·하위 질문을 신뢰성 있게 처리하도록 제한한다.
16. 품질은 인간 리뷰, 물리·시각 평가, 약 1,000개의 합성 세션, 점진적 출시로 다층 검증된다.
17. 실제 성과는 완료율이 아니라 지금과 일주일 뒤와 한 달 뒤에 학습자가 무엇을 할 수 있는지로 측정해야 한다.
18. 튜터링의 가장 강력한 데이터는 실제 학생의 오개념과 집중 지속 여부이며, 숙제 답만 받은 대화는 학습 데이터가 아니다.
19. 부모는 성적표보다 집중력과 자기 관심, 어려운 일을 반복하는 만족감을 길러야 한다.
20. AI 교육의 미래는 정답을 대신 주는 시스템이 아니라 아이들이 어려운 문제를 스스로 풀도록 돕는 접근 가능한 튜터다.