슈퍼예측(Superforecasting)은 미래를 예측하는 예술이자 과학이자 스포츠다 — 예를 들어 누가 선거에서 이길지, 어느 나라들이 전쟁을 벌일지, 언제 핵심 기술이 발견될지를 맞추는 일이다. 지난 몇 년 사이 이 분야는 난해한 학술 하위분야에서 예측 시장(prediction market) 형태의 수십억 달러 규모 산업으로 성장했다. 최근에는 AI 슈퍼예측기(AI superforecaster)가 최고 수준의 인간 예측가에 근접한 정확도를 보이고 있으며, 그 성능은 빠르게 상승하고 있다. 1~2년 안에 우리는 다음 두 패턴 중 하나를 보게 될 것이다.
인간이 이미 세상일의 예측 가능성에 대한 어떤 근본적 한계에 근접해 있어서 AI가 인간 수준이나 그보다 살짝 위에서 정체될 것인가, 아니면 추세선이 계속 이어져서 AI가 최고의 인간을 훨씬 뛰어넘게 될 것인가. 초지능(superintelligence)에 빗대자면, 두 번째 상황을 가리키는 자연스러운 용어는 "슈퍼예측"이겠지만 그 단어는 이미 다른 용도로 쓰이고 있으므로, 민망하지만 "울트라예측(ultraforecasting)"이라고 부르기로 하자.
다니엘 리브스(Daniel Reeves)는 시나리오 A를 지지하는 주장을 여기서 펼친다. 그는 2010년에 공동 집필한 한 연구를 소개하는데, 이 연구는 스포츠 경기와 영화 흥행 수입과 관련된 다양한 질문들에서 예측 시장이 단순하고 뻔한 통계 모델보다 겨우 3~6% 더 나은 성과를 냈다는 것을 발견했다. 어쩌면 그런 통계 모델들이 이미 가능한 최선에 가까울지도 모른다. 나머지는 수학자들이 인식적 불확실성(aleatoric uncertainty)이라고 부르는 것, 즉 혼돈계(chaotic system) 아래에 깔려 있어 모델링을 완전히 거부하는 환원 불가능한 복잡성일 수 있다.
그의 말이 맞을 수도 있다. 이 글은 결정적인 반박을 하려는 것이 아니라, 내가 여전히 대략 70대 30의 확률로 시나리오 B를 예상하는 이유를 설명하려는 것이다.
고엘, 리브스 등에 대한 약간의 반론
리브스의 연구는 2010년 당시 예측 시장이 뻔한 통계 모델을 스포츠에서는 3%, 영화에서는 6%밖에 앞서지 못했다고 주장한다.
하지만 이 퍼센트들은 실제 승패 비율이 아니라, 평균 제곱근 오차(root mean-squared error, RMSE)라는 지표의 변동폭이다. 이 수치의 감을 잡는 한 가지 방법은 이렇다. 스포츠용 뻔한 통계 모델(홈팀 이점 + 승패 기록)은 그보다 더 뻔한 모델(홈팀 이점만 고려)을 0.8퍼센트포인트 앞섰고, 예측 시장은 그 (더 나은) 통계 모델을 다시 0.4퍼센트포인트 앞섰다. 즉 통계 모델에서 예측 시장으로 넘어갈 때의 효과는 _어느 두 팀이 맞붙는지와 그들의 실력을 아는 것의 효과_의 절반밖에 안 된다! 이 지표로 보면 예측 시장은 기존 최고 수준의 방법에 비해 엄청난 개선이다.
예측 시장이 통계 모델보다 나은 정도는, 통계 모델에 팀의 이전 승패 기록을 추가함으로써 얻는 이득의 절반밖에 되지 않는다! (출처: Reeves 외 논문 Figure 2, Claude Fable)
왜 우리는 같은 결과를 아주 작게도, 아주 크게도 해석할 수 있는 걸까?
스포츠는 예측에 맞서도록 최적화되어 있다. 만약 완전히 예측 가능한 스포츠가 존재한다면(예를 들어 모든 선수가 일렬로 서고 키가 제일 큰 사람이 이기는 "키볼(heightball)" 같은 것), 아무도 그것을 보러 오지 않을 것이다. 대신 우리는 결과의 불확실성을 유지하기 위해 터무니없을 정도로 많은 노력을 기울인다. 샐러리 캡, 드래프트 제도 등은 모든 팀이 정확히 동일한 실력을 갖추도록 애쓴다. 상업적 유인과 한계 효과는 팀들이 정확히 동일한 훈련량을 갖추도록 만든다. 그런 다음 정확히 동일한 수의, 정확히 동일한 실력과 훈련을 받은 사람들을 완벽하게 대칭인 경기장의 정확히 동일한 위치에 배치하고, 정확히 두 팀 사이의 정중앙에 놓인 공을 치거나 차거나 던지게 한다. 이렇게 서술하니 우습게 들리는데, 왜냐하면 우리가 원하는 것("공정성을 유지하는 것")이 당연히 이것이기 때문이다. 하지만 이는 모두 예측 저항성을 위해 설계된 것이다. 이 영역의 난이도를 감안하면, 상대적으로는 매우 큰 발전이라도 절대적으로는 작아 보인다.
리브스의 다른 예시인 영화 흥행 수입을 살펴보자. 여기서는 시장이 조금 더 나은 성과, 즉 6%의 개선을 보였다. 그런데 이것도 낮은 수치 아닌가?
영화 흥행 수입은 자릿수 단위로 차이가 나기 때문에(어떤 영화는 10만 달러를, 어떤 영화는 1억 달러를 벌어들인다) 논문은 이를 로그 스케일로 나타낸다. 로그 스케일에서의 6% 개선은 이미 꽤 좋게 들리기 시작한다.
그리고 다시 한번, 모든 것은 우리가 무엇과 비교하느냐에 달려 있다. 여기서 아주 뻔한 모델은 모든 영화가 정확히 평균 영화의 흥행 수입인 810만 달러를 번다고 가정하는 것이다. 그보다 살짝 덜 뻔한 모델은 여기에 _그 영화가 상영되는 스크린 수_와 _그 영화에 대한 구글 검색 트래픽의 양_을 추가한다! 예를 들어, 어느 무명 독립 영화는 전국에서 딱 세 개 스크린에서만 상영될 수 있고, 디즈니 블록버스터는 만 개의 스크린에서 상영될 수 있다. 이 논문이 예측 시장에 던지는 도전 과제는 _그 영화가 독립 영화인지 디즈니 블록버스터인지, 그리고 사람들이 그 영화를 얼마나 보고 싶어 하는지_를 아는 것에서 유의미하게 더 개선하는 것이며, 게다가 이를 로그 스케일 위에서 해내야 한다! 상대적 개선 수치가 다소 빈약해 보이는 것도 무리는 아니다.
이 절을 요약하자면 이렇다: 기적을 기대해서는 안 되지만, 그렇다고 해서 앞으로도 평범한 수준의 추가 이득이 있을 가능성이 배제되는 것은 아니다.
비(非)기적 규칙을 지정학에 적용하기
위에서 봤던 그림으로 돌아가 보자.
이 그래프는 메타큘러스(Metaculus)의 AI 대 인간 결과를 대략적인 근거로 삼은 것이다.
…그리고 이 대부분은 지정학 관련 질문들이다. 리브스의 모델은 이것들에 대해 우리에게 무엇을 말해줄 수 있을까?
한 가지 측면에서는 이미 적용되지 않는다는 것이 증명될 수 있다. 스포츠 분석에서는 기준선(모든 질문에 대해 50%로 추측)과 뛰어난 인간(예측 시장) 사이의 격차가 브라이어 점수(Brier score) 0.04포인트였다.
하지만 메타큘러스에서는 기준선과 뛰어난 인간(메타큘러스 프로 예측가) 사이의 격차가 브라이어 0.13포인트다! 즉 메타큘러스의 슈퍼예측가들은 리브스 모델을 단순히 그대로 적용했을 때 존재할 것이라고 시사되는 것보다 이미 3배나 많은 불확실성을 제거해낸 것이다!
여기서 우리는 스포츠가 유독 예측 불가능한 영역이라는 개념으로 돌아가게 된다. 사소한 예를 하나 들자면, 가장 쉬운 스포츠 질문(리그 최강 팀이 최약체 팀을 이길 것인가?)조차 여전히 90대 10 정도일 수 있다(이변은 일어나니까). 하지만 가장 쉬운 지정학 질문(가령 "미국이 이번 달 안에 캐나다를 폭격할 것인가?")은 쉽게 99대 1 혹은 그 이상이 될 수 있다. 그러니 지정학 예측가들이 리브스가 상정한 상한선을 손쉽게 뛰어넘는 것은 놀랍지 않다.
리브스 모델을 있는 그대로가 아니라 폭넓은 교훈을 도입하는 방식으로 지정학에 비(非)순진하게 적용한다면 무엇을 말해줄까? 우리는 예측 시장이 미국이 올해 이란을 폭격할지 여부를 판단하는 데 있어 다른 최첨단 예측 방법들보다 어느 정도 개선된 결과를 낸다고 결론지을 수 있을 것이다. 하지만 그 개선의 크기는, 우리가 얘기하는 대상이 이란인지 캐나다인지를 아는 것에 비하면 상대적으로 작다는 것도 알게 될 것이다.
그렇다, 이는 시시하고 뻔한 이야기인데, 이는 애초의 스포츠 결과 자체가 시시하고 뻔했다는 것의 당연한 귀결이다. 여기서도 우리가 배운 것은 그저 기적을 기대하지 말라는 것뿐이다.
여기에는 좀 더 흥미로운 변주가 있을 수 있다. "2050년까지 AI가 대부분의 인간 일자리를 대체할 것인가?" 같은 질문을 생각해보자. 만약 당신이 AI를 정말로 깊이 이해하는 초천재라면 스케일링 법칙(scaling law)이 계속 유지될지 예측할 수 있고, AGI가 손 닿는 곳에 있는지에 대한 좋은 감을 가질 수 있을 것 같다. 그리고 만약 당신이 경제학을 정말로 깊이 이해하는 초천재라면 값싼 AI 노동력이 인간 노동의 보완재가 될지 대체재가 될지 모델링할 수 있을 것이다. 그러니 이런 질문은 스포츠 경기와는 정반대일 수 있으며, 인식적 불확실성이 거의 없을 수 있다 — 최대로 똑똑한 예측가라면 알 수 있는 거의 모든 것을 알 수 있을 것이다.
이 글의 나머지 부분에서는 이 모든 것을 무시하고, 지정학적 예측을 요약 통계로 쉽게 표현되는 형태 없는 덩어리로 취급하겠다.
기적이 아닌 가능한 향상을 위한 기준점들
메타큘러스 그래프에서 "기적이 아닌" 발전이란 어떤 모습일까? 지난 글에서 다뤘던 AI 대 슈퍼예측가 그래프를 다시 살펴보는 것으로 시작해보자.
퓨처서치(FutureSearch)의 댄 슈워츠(Dan Schwarz)가 스캐폴딩된(scaffolded) 모델들을 추가해주었다.
세로축의 "예측 점수(forecasting score)"는 GPT-4의 예측 능력을 0으로 고정한 엘로(Elo) 방식의 지표이며, 다음은 다른 근사적인 참조점들이다(일부는 어림계산으로 추정한 것이다).
- 무작위 확률(모든 이지선다 질문에 50%): -20
- 평균적인 인간: 0
- 가장 뛰어난 기성품 AI: 20
- 집단지성(wisdom of crowds): 25
- 최고의 AI 슈퍼예측가: 30
- 전문 인간 슈퍼예측가: 35
- 다양한 예측 시장들: 25 - 50?
- 최적 조건에서의 세계 최고 예측 팀: 40 - 50
- 만점: 100
예측의 논리적 한계를 어떻게 추정할 수 있을까? 확실하게 해낼 수는 없지만, 코트라(Cotra) 2020의 정신을 따라 몇 가지 "기준점"을 설정하고 그것이 우리를 어디로 이끄는지 살펴보자.
기준점 1: 최고의 인간 → AI 슈퍼예측가로의 발전이, 뻔한 모델 → 예측 시장으로의 발전과 같은 수준이라면?
리브스가 암묵적으로 말하려는 요점은 겉보기에 흥미진진한 신기술로부터 얻는 이득이 작다는 것이다(그의 연구에서는 RMSE의 3~6%). 만약 AI가 인간 예측가에 대해 갖는 우위도 이와 같은 규모라면?
리브스의 RMSE를 브라이어 점수라 불리는 것으로 변환하고, 다시 그 브라이어 점수를 위의 메타큘러스 점수로 변환할 수 있다. 그렇게 하면 AI는 메타큘러스 점수 56에서 정점을 찍게 된다는 것을 알 수 있다.
기준점 2: 최고의 인간 → AI 슈퍼예측가로의 발전이, 전문 슈퍼예측가 → 사모츠베티(Samotsvety)로의 발전과 같은 수준이라면?
2010년 당시라면 아마 우리는 35("다양한 전문 슈퍼예측가")가 가능한 최고 예측 성능에 근접한 것이라고 추측했을 것이다.
그 이후로 더 많은 사람들이 예측 세계에 합류하면서 이전 스타들보다 뛰어난 슈퍼스타들을 찾아낼 수 있게 되었고, 이 커뮤니티는 그들의 작업을 지원하는 도구와 알고리즘도 어느 정도 만들어냈다. 사모츠베티는 훌륭한 도구를 사용하는, 잘 단련된 슈퍼스타들의 팀으로서 "평범한" 슈퍼예측가들을 꾸준히 능가한다. 만약 AI가 사모츠베티 자신들의 (관대한) 집계에 따를 때, 사모츠베티가 2010년 당시 최첨단을 앞섰던 것과 동일한 정도로 사모츠베티를 능가한다면, AI는 메타큘러스 점수 65에서 정점을 찍게 될 것이다.
기준점 3: 최고의 인간 → AI 슈퍼예측가로의 발전이, 인간 → AI 체스 챔피언으로의 발전과 같은 수준이라면?
AI가 인간 챔피언을 체스에서 처음으로 이긴 것은 1997년이었다. 그 이후로 계속 발전을 거듭해, 이제는 인간이 따라잡을 가능성이 전혀 없는 수준까지 나아갔다.
이 사실만으로는 큰 도움이 되지 않는다. 우리가 알고 싶은 것은 최고 수준의 인간이 최적의 체스 실력에 얼마나 가까운가 하는 것이다. 만약 인간이 99%까지 도달해 있는데 AI가 99.9%까지 도달해 있다면, 그래도 겉보기에는 AI가 매번 인간을 이기는 것처럼 보일 수 있다.
하지만 우리는 이를 핸디캡(handicap)이라는 객관적인 공간으로 번역해서 볼 수 있다. AI가 처음 인간을 이겼을 때, 그 우위는 취약해서 폰(pawn) 하나의 핸디캡만으로도 인간의 우위를 되찾을 수 있었다. 그 이후로 점진적으로 더 강해져, 이제는 폰 2.4개의 핸디캡까지 올라갔다. 세 번째 폰을 확보하는 데는 첫 번째나 두 번째보다 조금 더 시간이 걸렸지만 그렇게 훨씬 더 느린 것은 아니었고, 정체기에 접어들었다고 확신하기에는 아직 이르다.
그러니 최고 수준의 인간 실력은 최적 실력에 비해 최소한 폰 2.4개(아직 정체기에 도달했다고 볼 근거가 없으니 폰 3개로 반올림하자)만큼 모자란다고 볼 수 있다. 만약 최고의 인간 예측가들이 논리적 한계에 비해 "폰 3개"만큼 부족하다면 그것은 무엇을 의미할까?
(초고 독자 몇 명은 체스가 AI에게 거의 최적화된 영역이라고 반박했다 — 수백만 번 셀프플레이로 학습 데이터를 만들 수 있으니까 — 그리고 예측은 그보다 훨씬 어렵다고 했다. 나도 동의하지만, 여기서는 그것이 중요하지 않다고 생각한다. 우리가 이야기하는 것은 슈퍼예측가 AI를 만드는 것이 얼마나 _실용적_인가가 아니라, 체스가 우리에게 최고 수준의 인간이 최적 플레이에 얼마나 근접해 있는지에 대해 무엇을 가르쳐주는가이기 때문이다.)
체스에서 폰 3개의 핸디캡은 세계 챔피언과 평균적인 그랜드마스터 사이 격차의 대략 3배다. 이를 사모츠베티와 메타큘러스 프로 예측가 사이의 격차의 3배로 반올림하면, AI는 대략 85에서 정점을 찍는다.
그래서 어쨌다는 것인가
우리는 지금까지 메타큘러스 피어 예측(Peer Forecasting) 점수라는, 사실상 아무도 신경 쓰지 않는 숫자에 대해 정말 많은 주장을 늘어놓았다. 최대 가능한 AI로부터 실생활에서 어느 정도의 성능 향상을 기대해야 할까?
현재 50%에 형성되어 있고, 메타큘러스 프로 예측가 수준과 사모츠베티 수준 사이 어딘가의 실력을 가진 참가자들이 지배하는 예측 시장을 생각해보자. 그리고 그 시장이 실제로 일어날 사건에 관한 것이라고 가정하자. 각각의 최대 가능한 AI들은 평균적으로 그 시장에서 얼마나 확신을 가질까?
점수 56: 54% 점수 65: 56% 점수 85: 62%
즉 이 최대 가능한 AI들은 예측 시장의 정확도를 4~12퍼센트포인트 향상시킬 것이다.
이는 실망스럽게 들릴 수 있다 — 50% 확률에서 54% 확률로 넘어가는 것은 노스트라다무스급 예지력과는 거리가 멀다. 하지만 나는 실제로 이 결과에 상당히 흥분하게 될 것 같다. 내가 신경 쓰는 어떤 일을 폴리마켓(Polymarket)에서 확인할 때, 나는 보통 그 확률에 대해 어느 정도 감을 잡고 있다. 내년에 앤트로픽(Anthropic)이 오픈AI(OpenAI)보다 가치가 높을 확률이 55%인지 75%인지는 확신할 수 없지만, 10%나 90%는 아니라는 것은 안다. 나는 그게 55%에 가까운지 75%에 가까운지를 보러 폴리마켓에 방문한다. 이 척도로 보면, 4% 개선은 — 하물며 12% 개선은 — 실제로 꽤 흥미로운 일이다.
나는 AI든 인간이든 이미 "한계"에 도달했는지, "원리적으로 완벽한 예측은 불가능한지"를 둘러싼 지루한 논쟁보다 이 숫자들이 훨씬 흥미롭다. 한계가 현재 수준보다 어딘가 위에 있다는 것, 설령 그것이 1% 미만의 아주 작은 차이라 할지라도(예를 들어 최고의 인간 예측가조차 컨디션이 나쁜 날이 있으니까), 그것은 논쟁의 여지가 없어야 한다. 그리고 아무리 최고의 예측가라 해도 모든 것에서 100%를 맞힐 수는 없다는 것도(양자 효과에 관한 질문처럼 원리적으로도 예측 불가능한 것들이 있으니까) 논쟁의 여지가 없어야 한다. 이제 답이 어떤 특정한 숫자라는 것을 입증했으니, 우리는 그 숫자가 무엇인지를 두고 논쟁할 수 있다. 만약 AI가 과거 기술들과 비슷한 수준의 이득을 준다면, 예측 시장에서 4~12퍼센트포인트 사이가 될 수 있다. 물론 AI가 과거 기술보다 훨씬 나쁘거나 훨씬 좋다면, 완전히 다른 값이 나올 수도 있다.
대부분의 사람들은 예측 시장에서 4~12퍼센트포인트가 무엇을 의미하는지 직관적으로 감을 잡지 못한다. 나조차도 전문 슈퍼예측가의 추정치에 대해 얼마나 확신해야 하는지와, 사모츠베티의 추정치에 대해 얼마나 확신해야 하는지를 가끔 뭉뚱그려 생각한다. 비슷하게 큰 차이인데도 말이다. 아마 이 모든 것은, 현재 우리가 감(vibe)과 무도회장식 뇌물(ballroom-related-bribery)에 기반해 의사결정을 내리는 전략에서 벗어나 시장과 예측가들의 말에 귀 기울이는 것으로 전환함으로써 얻을 수 있는 이득에 비하면 미미할 것이다.
그리고 그 4~12퍼센트포인트는 단지 표면적인 숫자일 뿐이다. 예측 시장에서 이만큼 더 나은 예측가는 좋은 정책을 설계하는 데도, 아직 알려지지 않은 미지의 위험(unknown unknowns)을 찾아내는 데도 더 뛰어날 것이다(예를 들어 코로나바이러스 같은 팬데믹의 위험을 그것이 너무 레이더 밖에 있어서 아무도 그에 관한 예측 시장 질문을 만들 생각조차 하지 않았을 때 미리 포착하는 것처럼). 더 똑똑하게 중요한 질문을 찾아내는 사람과 더 똑똑한 예측가가 함께라면 둘 중 하나만 있을 때보다 더 큰 결합된 이득을 제공할 것이고, 더 똑똑한 정책 설계자는 그 지식을 유용한 행동으로 전환함으로써 여기에 복리 효과를 더할 수 있을 것이다.
이 모든 것에도 불구하고 나는 AI 슈퍼예측가에 대해 여전히 기대감을 느낀다. 비록 기적을 기대하지는 않지만 말이다.
핵심 요약 (20줄)
- 저자 스콧 알렉산더(Scott Alexander)는 AI 슈퍼예측가가 인간 최고 수준을 크게 뛰어넘는 "울트라예측" 시나리오를 70% 확률로 예상한다고 밝힌다.
- 다니엘 리브스는 2010년 연구에서 예측 시장이 단순 통계 모델보다 스포츠에서 3%, 영화 흥행에서 6%밖에 개선하지 못했다는 점을 근거로, 인간이 이미 예측의 한계에 근접했다고 주장한다.
- 저자는 이 3~6%가 RMSE(평균 제곱근 오차) 기준의 상대적 수치이며, 실제로는 팀의 승패 기록을 아는 것만큼이나 큰 개선이라고 반박한다.
- 스포츠는 공정성을 위해 의도적으로 예측 저항적으로 설계되어 있어, 상대적으로 큰 발전도 절대적으로는 작아 보인다.
- 영화 흥행 수입은 로그 스케일로 다뤄지며, 6% 개선은 실제로는 상당히 유의미한 수치다.
- 저자는 이 결과를 "기적을 기대할 순 없지만 평범한 수준의 추가 개선은 가능하다"로 요약한다.
- 메타큘러스(Metaculus) 데이터에서는 기준선과 프로 예측가 사이의 브라이어 점수 격차가 스포츠보다 3배 큰 0.13포인트로, 지정학 예측이 스포츠보다 예측 가능성이 훨씬 높음을 보여준다.
- "미국이 캐나다를 폭격할 것인가" 같은 극단적으로 쉬운 지정학 질문은 99대 1 이상의 확률로, 스포츠의 가장 쉬운 질문(90대 10)보다도 예측하기 쉽다.
- "AI가 2050년까지 대부분의 일자리를 대체할 것인가" 같은 질문은 스케일링 법칙과 경제학 이해만으로 답할 수 있어 인식적 불확실성이 거의 없는 예측 유형일 수 있다.
- 저자는 메타큘러스의 "예측 점수(Elo 방식, GPT-4=0)" 척도로 무작위(-20), 평균 인간(0), 최고 AI 슈퍼예측가(30), 전문 인간 슈퍼예측가(35), 만점(100) 등 기준점을 제시한다.
- 기준점 1: AI가 인간보다 앞서는 정도가 통계 모델 대비 예측 시장의 개선 정도와 같다면, AI는 메타큘러스 점수 56에서 정점을 찍는다.
- 기준점 2: AI의 우위가 전문 슈퍼예측가 대비 엘리트 팀 사모츠베티(Samotsvety)의 우위와 같다면, AI는 65에서 정점을 찍는다.
- 기준점 3: 체스에서 AI가 인간 챔피언 대비 확보한 "폰 2.4~3개" 핸디캡 수준의 우위를 지정학 예측에 적용하면, AI는 85에서 정점을 찍는다.
- 이 세 기준점(56, 65, 85)을 예측 시장의 확률 표현으로 환산하면, 실제로 일어날 사건에 대한 시장 확률(50%)을 각각 54%, 56%, 62%까지 끌어올리는 효과에 해당한다.
- 저자는 50%에서 54%로의 향상이 작아 보여도, 폴리마켓 등에서 실제 의사결정에 쓰일 때는 상당히 의미 있는 개선이라고 주장한다.
- 완벽한 예측이 불가능하다는 것과 현재 수준이 한계가 아니라는 것 모두 자명하므로, 논쟁의 초점은 그 한계가 정확히 어떤 숫자인지로 옮겨가야 한다고 저자는 말한다.
- AI가 좋은 예측가가 되면 정책 설계와 "알려지지 않은 위험" 발견 능력도 함께 향상되어, 예측 정확도 향상보다 훨씬 큰 파급 효과를 낼 수 있다.
- 각주에서 저자는 Claude Code로 현대 스포츠 베팅(Polymarket, Kalshi) 데이터를 이용해 리브스 연구를 재현시켰더니 동일한 결과가 나왔다고 언급하지만, 그 추론 과정은 검증하지 못했다고 밝힌다.
- 저자는 체스 핸디캡 추정에 있어 AI 어시스턴트 "Fable"의 자문을 받았다고 밝히며, 이 글 전체가 AI 조언에 상당 부분 의존했다는 점도 솔직하게 인정한다.
- 결론적으로 저자는 기적적인 도약은 기대하지 않지만, AI 슈퍼예측가가 예측 시장과 정책 결정 전반에 걸쳐 실질적이고 흥미로운 개선을 가져올 것이라는 낙관을 유지한다.