AI 에이전트에 100만 토큰 컨텍스트가 필요한 이유

URL: https://www.youtube.com/watch?v=TdudKNElsA8
날짜: 2026-09-07
채널: Tech Bridge

원문 제목: [한영자막] AI 에이전트에 100만 토큰 컨텍스트가 꼭 필요한 이유입니다

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI 에이전트가 복잡한 도구 호출과 여러 차례의 상호작용을 안정적으로 이어가려면, 긴 컨텍스트는 단순한 기록 용량이 아니라 작업 능력 자체를 좌우하는 실행 기반이 된다.== MiniMax M3는 100만 토큰 컨텍스트, 코딩, 비전·영상 이해를 하나의 오픈소스 모델에 결합하고, MiniMax Sparse Attention(MSA)으로 초장문 컨텍스트의 계산 비용을 낮추려 한다.

• 책 한 권을 넣고 평가하는 1,000만 토큰 처리와, 도구 응답·환경 상태·다중 라운드를 기억하며 행동하는 에이전트형 컨텍스트는 서로 다른 문제다.
• MSA는 전체 컨텍스트를 매번 모두 계산하지 않고, 인덱스 브랜치가 중요한 블록을 고른 뒤 희소 어텐션 브랜치가 선택된 블록을 계산한다.
• 텍스트 모델을 먼저 만든 뒤 비전 어댑터를 붙이는 방식은 텍스트와 비전의 수렴 및 확장성에 한계가 있어, MiniMax는 첫 학습 단계부터 멀티모달 데이터를 함께 학습했다.

Thomas Wolf는 Hugging Face 공동 창업자이자 CSO인 Olive Song을 초대해 MiniMax M3의 설계와 MiniMax의 연구 문화를 묻는다. 대담의 결론은 더 큰 단일 모델만을 추구하는 데 있지 않다. 긴 컨텍스트와 멀티모달 이해를 바탕으로 모델을 연구 자동화에 투입하고, 여러 에이전트와 모델 라우팅을 결합해 복잡한 문제를 풀어가는 방향이 다음 단계라는 주장이다.

---

1. MiniMax M3가 겨냥한 오픈소스 모델의 다음 기준

MiniMax M3의 차별점은 코딩 성능 하나가 아니라 코딩·에이전트·초장문 컨텍스트·멀티모달 이해를 동시에 묶은 데 있다.

1.1. MiniMax와 Olive Song의 배경

1. 중국 AI 드래곤 경쟁

   1. Thomas Wolf는 당시 상위권 오픈소스 모델들이 연이어 등장하고 있다고 소개한다. 대담 직전에는 GLM이 Artificial Analysis 표에서 상위권에 있었고, DeepSeek·Moonshot(Kimi)·GLM·MiniMax가 선두를 다투는 팀으로 언급된다.
   2. MiniMax는 중국의 이른바 ‘AI dragons’ 중 하나로 소개된다. 발표자는 전 세계에 AI 연구소가 매우 많아졌으며, 그 수가 약 64곳에 이른다고 농담 섞어 말한다.
   3. Olive Song은 NYU에서 박사과정을 밟으며 Yann LeCun의 연구실에서 공부했고, 뉴욕에 있던 Hugging Face에 합류하는 대신 MiniMax를 선택했다. 자막의 연구 프로젝트명은 ASR 오류로 정확히 식별되지 않는다.

2. M3 출시와 모델 포지셔닝

   1. 대담 시점에 MiniMax M3는 6월 초 출시된 최신 오픈소스 모델로 소개된다.
   2. Olive Song은 M3가 코딩 성능이 강하고 이미지와 비디오를 이해한다고 설명한다. 당시 상위 5개 오픈소스 모델 중 실제 멀티모달 모델은 M3가 사실상 유일하다는 평가도 나온다.
   3. 모델의 핵심 축은 코딩 능력, 에이전트 능력, 100만 토큰 장문 컨텍스트, 멀티모달 이해다. 이 네 요소가 미래 AI 애플리케이션에 함께 중요하다는 것이 설계의 출발점이다.

1.2. 모델 규모와 능력의 교환

1. 작은 활성 파라미터로 큰 능력 확보

   1. Olive Song은 M3를 총 약 4,000억 파라미터, 활성 약 200억 파라미터를 사용하는 비교적 작은 모델로 설명한다.
   2. 인터뷰어는 뒤에서 M3를 총 4,280억 파라미터, 활성 230억 파라미터라고 다시 언급한다. 자막·소개 자료 사이에 수치 표현이 다르므로, 공통적으로 ‘총 파라미터 약 4,000억대·활성 파라미터 약 200억대’ 규모로 이해하는 것이 안전하다.
   3. 활성 파라미터를 제한하면 모델 전체의 표현력은 유지하면서 요청마다 실제 계산하는 양을 줄일 수 있다. MSA의 효율화와 결합해 사용 비용을 낮추려는 배경이기도 하다.

2. 미래에는 1조 파라미터 이상을 지향

   1. Olive Song은 작은 모델로는 수행하기 어렵거나 충분히 잘하지 못하는 과제가 존재하므로, MiniMax가 앞으로 현재보다 훨씬 더 야심찬 규모로 나아갈 것이라고 말한다.
   2. Thomas Wolf가 1조 파라미터를 넘을지 묻자 Olive Song은 명확히 그렇다고 답한다.
   3. 규모 확장은 단순히 파라미터를 늘리는 문제가 아니다. 장문 컨텍스트 아키텍처, 하드웨어, 학습 데이터, 추론 최적화를 함께 연구해야 실제 능력과 비용 효율을 얻을 수 있다.

---

2. 에이전트에게 긴 컨텍스트가 필요한 이유

장문 컨텍스트는 문서를 한 번에 읽는 기능을 넘어, 환경과 도구가 계속 보내오는 상태를 잃지 않고 긴 작업을 이어가는 메모리로 작동한다.

2.1. 1,000만 토큰 문서 처리와 에이전트 작업의 차이

1. MiniMax M1·01의 기존 장문 컨텍스트

   1. MiniMax M1과 MiniMax-01은 최대 1,000만 토큰 컨텍스트를 처리할 수 있었다.
   2. 예를 들어 책 한 권을 넣고 리뷰를 생성하는 식의 작업은 수행할 수 있었다. 이때 모델의 역할은 입력 전체를 읽고 답을 내는 분석기에 가깝다.
   3. Thomas Wolf와 Olive Song은 이 기능이 강력하지만, 당시 모델이 에이전트형 모델은 아니었다는 점을 구분한다.

2. 에이전트의 컨텍스트는 계속 변한다

   1. 에이전트는 사용자의 지시만 받는 것이 아니라 운영 환경 전체와 상호작용한다. 도구 호출 결과, 파일 상태, 실행 로그, 관찰 결과, 오류 메시지가 매 라운드 추가된다.
   2. 복잡한 작업은 여러 차례의 tool call과 multi-round 대화로 구성된다. 이전에 어떤 도구를 호출했고 그 결과가 무엇이었는지 잊으면, 다음 행동이 앞뒤 맞지 않거나 같은 실패를 반복한다.
   3. 짧은 컨텍스트 창은 단순 질의응답에는 충분할 수 있지만, 환경 상태와 긴 도구 피드백을 유지하는 에이전트에는 부족하다. 긴 컨텍스트가 에이전트의 복잡한 작업 수행 능력을 해금하는 이유다.

2.2. 1,024 토큰에서 100만·1조 토큰으로

1. 컨텍스트 길이의 급격한 증가

   1. Thomas Wolf는 GPT-2의 컨텍스트가 1,024토큰이었을 때도 사람들이 매우 크다고 생각했다고 회고한다.
   2. 지금은 100만 토큰이 실제로 작동하는 모델이 등장했고, 더 나아가 1조 토큰 컨텍스트를 제안하는 사람도 있다.
   3. 컨텍스트 길이 증가는 단순한 벤치마크 숫자가 아니라, 모델이 한 번의 작업 안에서 보존할 수 있는 환경·도구·대화의 시간 폭을 늘린다.

2. 다음 병목은 아키텍처와 하드웨어

   1. Olive Song은 초장문 컨텍스트를 더 늘리는 방향이 분명히 탐구할 가치가 있다고 말한다.
   2. 1조 토큰급 컨텍스트에는 새로운 아키텍처 설계와 하드웨어 연구가 함께 필요하다. 현행 방식의 계산량과 메모리 이동만으로는 길이 증가를 그대로 감당하기 어렵다.
   3. Thomas Wolf는 최근 모델 업계가 추론 비용을 크게 줄인 사례를 언급하지만, 구체적인 방법은 외부에 알려지지 않았다고 단서를 단다. 장문 컨텍스트 비용을 줄일 여지는 아직 많다는 문제의식이 이어진다.

---

3. MiniMax Sparse Attention(MSA)의 설계

MSA는 ‘모든 토큰을 동일하게 계산한다’는 전제를 버리고, 컨텍스트 안에서 중요한 영역을 먼저 찾은 다음 필요한 블록에 계산을 집중한다.

3.1. 두 브랜치로 나누는 희소 어텐션

1. 인덱스 브랜치(index branch)

   1. 인덱스 브랜치는 긴 컨텍스트 전체를 높은 수준에서 훑고, 어떤 부분이 현재 작업에 더 중요한지 선택한다.
   2. 모든 토큰·블록을 동일한 정밀도로 계산하는 대신, 관련성이 높은 블록을 찾아 다음 계산 단계로 넘긴다.
   3. 이 단계는 에이전트가 축적한 도구 결과와 대화 기록 중 현재 행동에 필요한 정보를 골라내는 검색·라우팅 역할에 가깝다.

2. 희소 어텐션 브랜치(sparse attention branch)

   1. 희소 어텐션 브랜치는 인덱스 브랜치가 선택한 블록을 대상으로 실제 어텐션 계산을 수행한다.
   2. 선택되지 않은 모든 블록까지 매번 계산하지 않으므로, 컨텍스트 길이가 커질수록 절감 효과를 기대할 수 있다.
   3. Olive Song은 이 구조가 단순하고 우아하며, 향후 컨텍스트 길이와 모델 크기를 함께 확장할 수 있도록 설계됐다고 설명한다.

3.2. 어텐션 연구의 재출발과 인턴의 기여

1. 복잡도 문제를 다시 보는 접근

   1. Thomas Wolf는 어텐션의 전통적인 제곱 복잡도(n²) 문제와 한때 주목받았던 선형 어텐션(linear attention)을 떠올린다.
   2. 이후 FlashAttention이 등장하면서 연구자들은 알고리즘을 바꾸는 것보다 하드웨어와 메모리 접근을 더 효율적으로 만드는 방향에 집중했다.
   3. MSA는 이 흐름에서 다시 ‘어텐션이 무엇을 계산해야 하는가’라는 first principles 질문으로 돌아간 사례다. 계산 커널만 빠르게 만드는 것이 아니라, 계산 대상을 줄인다.

2. 인턴이 설계한 아키텍처

   1. MSA의 아이디어와 구조는 MiniMax 팀의 한 인턴이 설계했다.
   2. 많은 연구소에서는 인턴이 데이터나 핵심 작업에 접근하기 어렵지만, MiniMax는 모델과 인프라를 직접 실험할 수 있게 열어두었다.
   3. 인턴의 기여가 실제 모델 아키텍처에 반영된 사례는 MiniMax가 직급보다 실험 접근성과 기여 가능성을 중시한다는 조직 문화의 구체적인 증거다.

---

4. MiniMax의 자율 연구 문화

모델 출시를 연구의 끝이 아니라 누구나 모델의 약점을 찾고 다음 개선 과제를 제안하는 출발점으로 삼는다.

4.1. 출시 후 모델을 가지고 노는 시간

1. 좋은 기반과 인프라를 먼저 제공

   1. MiniMax는 구성원이 모델을 실험하고 개선점을 찾을 수 있도록 충분한 기반과 인프라를 마련한다.
   2. 모델이 출시된 뒤 구성원은 비교적 자유롭게 모델을 사용하며 자신만의 평가(evaluation)를 설계한다.
   3. 공개된 벤치마크 점수만 보는 것이 아니라 실제 사용 중 드러나는 약점과 실패 패턴을 찾아 다음 프로젝트의 출발점으로 삼는다.

2. 프로젝트 제안과 자발적 합류

   1. 구성원은 발견한 약점을 해결할 프로젝트를 직접 제안할 수 있다.
   2. 관심 있는 다른 구성원은 프로젝트에 자발적으로 합류하고, 몇 주에서 몇 달 동안 실험·분석·개선을 진행한다.
   3. 최종 결과가 유효하면 다음 모델 학습에 반영하고, 실제 모델 릴리스로 사용자에게 제공한다. 아이디어가 연구 논문이나 내부 보고서에서 끝나지 않고 제품과 학습 파이프라인으로 이어진다.

4.2. 장기 탐색이 필요한 연구

1. 아키텍처 연구의 긴 호흡

   1. 아키텍처 프로젝트는 단기간의 구현으로 결론을 낼 수 없다. 구조를 조사하고, 가설을 세우고, 여러 조건에서 실험해야 한다.
   2. 새로운 구조가 유효한지 확인하려면 평가를 다시 설계하거나 사전학습(pre-training)을 반복해야 할 수도 있다.
   3. 그래서 몇 달에 걸친 깊은 탐색도 MiniMax의 정상적인 연구 기간으로 간주한다.

2. 평가를 개선의 입력으로 사용

   1. 평가 결과는 모델의 순위를 보여주는 점수표가 아니라 어디가 약한지를 알려주는 진단 도구다.
   2. 사람들은 모델을 실제 작업에 투입하고, 특정 능력이 부족한 사례를 직접 수집해 개선 과제로 만든다.
   3. 이 문화는 장문 컨텍스트, 멀티모달 이해, 커널 최적화처럼 한 번의 실험으로 끝나지 않는 문제에 특히 적합하다.

---

5. 네이티브 멀티모달 학습

MiniMax는 텍스트 모델을 완성한 뒤 비전 기능을 부착하는 대신, 학습 첫 단계부터 텍스트·이미지·비디오를 함께 다루는 방식을 택했다.

5.1. 텍스트 이후 어댑터를 붙이는 방식의 한계

1. 후처리형 비전 학습의 문제

   1. 일반적인 모델 연구소는 텍스트 사전학습을 끝낸 뒤 비전 이해 모듈과 어댑터(adapter)를 추가하고, 그 부분을 별도로 학습하는 경우가 많다.
   2. 이 방식은 이미 텍스트 이해 쪽으로 수렴한 모델에 새로운 입력 양식을 얹는다. 그 결과 텍스트 성능이 손상될 수 있고, 비전 성능도 충분히 수렴하지 않을 수 있다.
   3. 데이터와 모델을 계속 확장하려는 상황에서는 어댑터를 덧붙이는 방식이 가장 자연스럽거나 확장 가능한 선택이 아니다.

2. 중간부터 멀티모달을 넣는 방식의 민감성

   1. 일부 연구소는 텍스트 사전학습 중간부터 멀티모달 능력을 추가하는 continued pre-training을 사용한다.
   2. 그러나 최적의 학습 레시피가 아키텍처, 데이터 혼합, 학습률마다 달라진다. 작은 모델에서 얻은 결론이 더 큰 모델에서도 그대로 재현된다고 보장하기 어렵다.
   3. 실험 결과를 통제하고 확장하기가 어렵기 때문에, MiniMax는 처음부터 두 양식을 함께 학습하는 쪽을 택했다.

5.2. 첫 단계부터 학습하는 방법

1. 모델 붕괴를 해결하는 과정

   1. 텍스트와 비전을 첫 단계부터 함께 학습하면 모델이 몇 단계 만에 붕괴할 수 있다. 두 입력 양식의 최적화가 충돌하기 때문이다.
   2. MiniMax는 Vision Transformer(ViT)와 학습 데이터 구성에 많은 작업을 투입해 이 문제를 해결했다.
   3. 첫 단계부터 함께 학습하되 텍스트·비전 이해 능력이 무너지지 않고 확장되도록 학습 과정을 안정화했다.

2. 인터리브 데이터와 학습 품질

   1. 자연스러운 데이터 안에서 이미지와 비디오를 지워버리지 않고 그대로 보존하는 interleaved data를 사용한다.
   2. 데이터에 대한 정교한 정제와 마스킹을 수행해 이미지·비디오·텍스트가 학습에 유용한 방식으로 연결되게 한다.
   3. 좋은 reward modeling도 적용한다. 데이터와 보상 신호를 함께 다듬어 첫 단계부터 멀티모달 능력을 학습하고, 규모를 키워도 모델이 붕괴하지 않도록 한다.

5.3. 멀티모달 에이전트의 사용 사례

1. 비정형 자료 읽기

   1. 에이전트는 PowerPoint처럼 구조가 완전히 정형화되지 않은 자료를 읽고 내용을 파악할 수 있다.
   2. 보고서의 텍스트뿐 아니라 이미지와 도표의 의미까지 이해하면 문서 분석의 범위가 넓어진다.
   3. 긴 비디오를 통째로 이해한 뒤 도구를 사용해 후속 행동까지 수행하는 시나리오도 가능해진다.

2. 영상에서 행동으로 이어지는 에이전트

   1. 에이전트가 긴 YouTube 튜토리얼을 보고, 영상에서 설명한 코딩 도구의 사용법을 이해하는 시나리오가 제시된다.
   2. 멀티모달 입력과 100만 토큰 컨텍스트가 결합되면 영상의 시각적 설명, 음성·텍스트 지시, 도구 실행 맥락을 하나의 작업 흐름으로 연결할 수 있다.
   3. 이러한 기능은 단순한 이미지 질의응답을 넘어 자료 이해 → 계획 수립 → 도구 호출 → 결과 확인으로 이어지는 에이전트 애플리케이션을 열어준다.

---

6. 3억 명의 사용자를 가진 오픈소스 기업

MiniMax는 연구 모델만 공개하는 조직이 아니라, 대규모 앱 사용량을 통해 모델이 실제 문제를 만나는 환경을 함께 운영한다.

6.1. 앱이 모델 연구와 함께 성장한 이유

1. 처음부터 멀티모달을 향한 비전

   1. Olive Song은 CEO가 회사를 시작하기 전부터 모든 비전을 이해하고 모든 양식을 출력하는 멀티모달 모델을 꿈꿨다고 설명한다.
   2. 이 구상은 ChatGPT가 등장하기 전부터 있었다. 앱과 모델의 결합은 유행을 따라 붙인 기능이 아니라 창업 초기의 방향이었다.
   3. 모델을 API로만 공개하면 많은 사람이 직접 경험하기 어렵다. 그래서 사용자 인터페이스, 앱, 구체적인 사용 시나리오를 함께 만들어 모델 능력을 체험하게 했다.

2. 실사용 규모

   1. MiniMax의 앱들은 약 200개 국가에서 3억 명이 넘는 사람에게 도달했다고 소개된다.
   2. 100만 개가 넘는 기업도 사용한 것으로 언급된다.
   3. 이 규모는 모델의 능력을 연구실 벤치마크뿐 아니라 다양한 언어·업무·사용자 기대 속에서 검증하게 한다. 동시에 실제 사용에서 발견되는 문제와 피드백이 다음 모델의 입력이 된다.

6.2. 오픈소스를 지속하는 사업 논리

1. 커뮤니티가 모델을 함께 만든다

   1. Olive Song은 개인적으로도 모델 연구팀 차원에서도 계속 오픈소스 모델을 공개하고 싶다고 말한다.
   2. 커뮤니티는 모델 성능에 대한 피드백을 제공하고, 공개된 코드와 모델에 PR을 보낸다.
   3. MiniMax는 이 피드백과 PR을 후속 버전에 반영한다. 오픈소스는 일방적인 배포가 아니라 모델을 함께 개선하는 개발 루프가 된다.

2. 커뮤니티가 보내주길 바라는 것

   1. M3는 텍스트·비전·비디오를 결합한 첫 시도의 성격이 강하므로, 멀티모달 기능이 기대만큼 작동하지 않는 사례를 구체적으로 알려주는 것이 중요하다.
   2. 사용자가 원하는 기능도 요청할 수 있다. 대담에서는 thinking effort 같은 기능 요구가 예시로 제시된다.
   3. MiniMax는 실제 실패 사례와 기능 요청을 다음 모델의 개선 항목으로 삼겠다고 약속한다.

---

7. 모델이 모델 연구를 가속하는 내부 에이전트 하네스

M3는 사용자용 모델인 동시에 MiniMax 연구팀의 반복 실험을 자동화하는 도구로 사용되고 있다.

7.1. 연구 워크플로 자동화

1. 자체 연구 하네스

   1. MiniMax는 연구 워크플로를 자동화하는 자체 research harness를 구축했다.
   2. 모델이 실험을 실행하고 결과를 확인하는 반복 작업을 하네스와 결합해 일상적인 연구 루틴의 상당 부분을 자동화한다.
   3. 연구자는 반복적인 실행보다 가설 설정, 평가 설계, 결과 해석에 더 많은 시간을 쓸 수 있고, 모델 개선의 반복 속도도 빨라진다.

2. 모델이 수행하는 연구 업무

   1. 최신 frontier model들이 할 수 있는 일로 kernel optimization이 언급된다. 모델이 다른 모델을 학습시키거나 자동으로 데이터를 생성하는 작업도 포함된다.
   2. M3는 긴 작업 흐름을 유지하는 longer-horizon 과제와 커널 최적화에서 좋은 성능을 보인다고 소개된다.
   3. 이런 능력을 연구 하네스에 연결하면 모델이 모델 학습·데이터 구축·실행 최적화의 일부를 맡고, 연구팀의 iteration을 가속할 수 있다.

7.2. M3.1로 이어지는 피드백 루프

1. 출시 모델이 다음 모델을 만든다
   1. Thomas Wolf가 M3가 이미 M4를 만들고 있는지 묻자, Olive Song은 M4가 아니라 M3.1을 만들고 있다고 답한다.
   2. 이 짧은 농담은 출시된 모델이 연구 자동화 하네스에 투입되어 다음 버전 개발에 실제로 사용된다는 맥락을 보여준다.
   3. 모델 출시 → 사용·평가 → 연구 하네스 자동화 → 아키텍처·데이터·커널 개선 → 다음 버전이라는 순환이 MiniMax의 개발 방식이다.

---

8. 다음 단계: 멀티 에이전트 시스템

단일 모델의 성능 향상만으로 모든 복잡한 작업을 해결하기보다, 여러 모델과 에이전트를 역할별로 연결하는 구조가 다음 연구 방향으로 제시된다.

8.1. 모델 라우팅과 역할 분담

1. 복잡한 작업의 분해

   1. 최근 AI 애플리케이션은 model routing과 multi-agent 구조를 점점 더 많이 사용한다.
   2. 하나의 모델이 모든 작업을 동일한 방식으로 처리하는 대신, 작업의 종류와 난이도에 따라 적합한 모델이나 에이전트로 요청을 보낼 수 있다.
   3. 긴 컨텍스트를 유지하는 에이전트, 시각 자료를 이해하는 에이전트, 코드를 실행하는 에이전트가 협력하면 단일 호출보다 복잡한 작업을 처리하기 쉽다.

2. 능력과 한계를 동시에 드러내는 시스템

   1. 멀티 에이전트 시스템은 더 복잡한 작업을 풀 뿐 아니라 현재 모델이 무엇을 할 수 있고 무엇을 할 수 없는지도 드러낸다.
   2. 여러 에이전트의 결과와 실패를 비교하면 모델의 병목, 라우팅 오류, 도구 사용 한계를 구체적으로 관찰할 수 있다.
   3. Olive Song은 이런 구조가 최근 가장 흥미로운 방향이라고 말하며 대담을 마무리한다.

---

주요 발언 모음

“짧은 컨텍스트로는 복잡한 작업을 수행하기에 충분하지 않다.”

“우리는 미래 AI 애플리케이션에 코딩 능력, 에이전트 능력, 더 긴 컨텍스트, 멀티모달 이해가 매우 중요하다는 것을 알고 있다.”

“아키텍처는 우리 팀의 인턴이 실제로 설계했다.”

“모델을 첫 단계부터 학습하면 자연스럽지만, 몇 단계 뒤 모델이 붕괴할 수 있다. 우리는 그 문제를 해결했다.”

“우리는 모델을 계속 오픈소스화하고 싶다. 오픈소스 커뮤니티가 모델을 함께 더 나은 방향으로 만들어주기 때문이다.”

“최근 가장 흥미로운 것은 멀티 에이전트다. 더 복잡한 작업을 풀고, 모델이 할 수 있는 일과 할 수 없는 일을 알려준다.”

---

핵심 데이터 & 수치

• M3 총 파라미터: 대담에서 약 400B와 약 428B가 각각 언급된다. 소개 자료는 약 400B 규모로 설명한다.
• 활성 파라미터: 대담에서 약 20B와 약 23B가 각각 언급된다. 공통적으로 총량보다 훨씬 작은 활성 파라미터를 사용한다.
• 컨텍스트: M3는 1M 토큰을 지원하며, 이전 M1·MiniMax-01은 10M 토큰 처리 사례가 언급된다.
• 사용자 규모: MiniMax 앱은 약 200개 국가에서 300M명 이상에게 도달했고, 1M개 이상 기업이 사용한 것으로 소개된다.
• 연구 기간: 자율 프로젝트는 몇 주에서 몇 달 이어질 수 있으며, 아키텍처 연구는 사전학습과 평가를 반복해야 해 더 오래 걸릴 수 있다.
• 다음 버전: 대담 시점에 M4가 아니라 M3.1을 개발 중이라고 밝혔다.

---

결론 및 시사점

1. AI 에이전트의 장문 컨텍스트는 긴 문서를 읽기 위한 장식이 아니라 도구 응답과 환경 상태를 보존하는 실행 메모리다.
2. 100만 토큰을 실제 에이전트 작업에 쓰려면 컨텍스트 길이 자체보다 선택적 계산과 추론 비용이 중요하다.
3. MSA의 인덱스 브랜치와 희소 어텐션 브랜치는 필요한 블록에 계산을 집중해 장문 컨텍스트 확장의 비용 문제를 겨냥한다.
4. 어텐션 연구는 FlashAttention 같은 메모리·커널 최적화와 함께, 무엇을 계산하지 않을지 결정하는 구조적 희소화로 확장되고 있다.
5. 핵심 아키텍처를 인턴도 제안할 수 있게 하려면 모델·데이터·인프라에 대한 실험 접근성이 조직 차원에서 보장돼야 한다.
6. 텍스트 사전학습 뒤 비전 어댑터를 붙이는 방식은 텍스트 성능 손상, 비전 수렴 한계, 레시피 의존성이라는 문제를 만든다.
7. 네이티브 멀티모달 학습은 어렵고 붕괴 위험이 있지만, ViT·인터리브 데이터·정제·보상 모델링을 함께 설계하면 더 자연스럽고 확장 가능한 기반이 된다.
8. 이미지·비디오·텍스트를 이해하는 에이전트는 PowerPoint·보고서·긴 튜토리얼을 분석하고 도구 실행으로 연결할 수 있다.
9. 모델을 출시한 뒤 구성원이 자유롭게 평가하고 프로젝트를 제안하는 문화는 실제 실패를 다음 학습의 데이터로 바꾼다.
10. 연구 하네스가 모델의 장기 작업·데이터 생성·커널 최적화를 자동화하면 출시된 모델이 다음 모델의 개발 도구가 된다.
11. 규모가 커질수록 모든 능력을 하나의 활성 경로에 넣는 것보다 모델 라우팅과 전문 에이전트 조합이 효율적일 수 있다.
12. 다음 경쟁력은 더 큰 단일 모델뿐 아니라 긴 컨텍스트, 네이티브 멀티모달, 자동화 하네스, 멀티 에이전트 시스템을 하나의 개발 루프로 연결하는 데 있다.

---

핵심 요약 (20줄)

1. MiniMax M3는 코딩·에이전트·100만 토큰 컨텍스트·멀티모달 이해를 한 모델에 결합했다.
2. M3의 총 파라미터는 대담에서 약 4,000억대, 활성 파라미터는 약 200억대로 소개됐다.
3. MiniMax M1과 MiniMax-01은 최대 1,000만 토큰 컨텍스트를 처리했지만 에이전트형 모델은 아니었다.
4. 에이전트는 도구 응답과 환경 상태가 여러 라운드에 걸쳐 누적되므로 짧은 컨텍스트로 복잡한 작업을 이어가기 어렵다.
5. MiniMax Sparse Attention은 중요한 블록을 먼저 고르고 선택된 블록에만 세밀한 어텐션을 계산한다.
6. MSA는 컨텍스트 길이와 모델 규모를 함께 확장하면서 추론 비용을 낮추려는 구조다.
7. MSA 아키텍처는 MiniMax 팀의 인턴이 설계했고 실제 모델에 반영됐다.
8. 초장문 컨텍스트의 다음 단계에는 아키텍처와 하드웨어를 함께 연구해야 한다.
9. MiniMax는 모델 출시 후 구성원이 자유롭게 평가하고 약점을 찾아 개선 프로젝트를 제안하게 한다.
10. 자율 프로젝트는 몇 주에서 몇 달 이어지며 최종 결과는 다음 모델 학습과 릴리스에 반영된다.
11. 텍스트 학습 뒤 비전 어댑터를 붙이면 텍스트 성능과 비전 수렴이 손상될 수 있다.
12. 네이티브 멀티모달은 텍스트·이미지·비디오를 첫 학습 단계부터 함께 다룬다.
13. ViT, 인터리브 데이터, 데이터 정제·마스킹, reward modeling이 학습 붕괴를 막는 핵심 요소다.
14. 멀티모달 에이전트는 PowerPoint·비정형 보고서·긴 비디오를 이해하고 도구를 호출할 수 있다.
15. MiniMax 앱은 약 200개 국가에서 3억 명 이상, 100만 개 이상 기업이 사용한 것으로 소개됐다.
16. 오픈소스 커뮤니티의 피드백과 PR은 MiniMax 후속 버전의 개선 재료가 된다.
17. M3는 MiniMax 내부 research harness에서 장기 작업과 커널 최적화를 자동화하는 데 사용된다.
18. 모델이 다른 모델을 학습시키고 데이터를 생성하는 자동화가 연구 반복 속도를 높인다.
19. 대담 시점에 MiniMax 팀은 M4가 아니라 M3.1을 개발하고 있었다.
20. 다음 핵심 방향은 model routing과 multi-agent 시스템으로 복잡한 작업과 모델의 한계를 함께 드러내는 것이다.