백만 토큰 컨텍스트가 AI 에이전트에 필요한 이유 — MiniMax M3의 설계와 멀티모달 연구

URL: https://www.youtube.com/watch?v=5Cxe5dv2Xlw
날짜: 2026-09-05
채널: aiDotEngineer
발표자: Thomas Wolf(Hugging Face 공동 창업자·최고과학책임자), Olive Song(MiniMax 연구자)

📌 핵심 질문 / 이 대화가 다루는 핵심 논점

==AI 에이전트가 사용자와 환경을 오랫동안 상호작용하며 복잡한 작업을 수행하려면, 전체 대화·도구 응답·멀티모달 입력을 유지하는 백만 토큰급 컨텍스트와 이를 감당할 효율적인 어텐션 구조가 필요하다.==

• MiniMax M3는 약 400B급 전체 파라미터와 약 20B의 활성 파라미터를 사용하는 소형·고효율 모델로 소개된다.
• M3는 코딩, 이미지·비디오 이해, 에이전트 작업, 1M 토큰 컨텍스트를 한 모델에 결합한다.
• MiniMax Sparse Attention(MSA)은 중요한 블록을 먼저 고른 뒤 선택된 블록에만 희소 어텐션을 적용해 긴 컨텍스트의 비용을 낮춘다.
• 네이티브 멀티모달 학습, 개방적인 연구 조직, 오픈소스 커뮤니티 피드백, 자동화된 연구 하네스가 모델의 다음 단계로 연결된다.

짧은 컨텍스트는 에이전트가 여러 차례 도구를 호출하고 환경의 응답을 누적하는 과정에서 이전 상태를 잃게 만든다. 긴 컨텍스트는 단순히 긴 문서를 읽는 기능을 넘어, 에이전트가 작업의 긴 시간적 지평을 유지하고 시각 자료까지 해석한 뒤 도구를 실행하는 기반이 된다. MSA와 네이티브 멀티모달 학습은 이 기능을 비용과 확장성 측면에서 실용화하려는 MiniMax의 핵심 설계다.

1. MiniMax M3가 겨냥하는 모델 경쟁의 위치

M3는 오픈소스 모델 경쟁에서 코딩 능력만이 아니라 시각 이해, 에이전트 실행, 초장문 컨텍스트를 동시에 밀어붙이는 모델로 자리매김한다.

1.1. 중국 AI 드래곤과 M3의 등장

1. 오픈소스 상위권 경쟁

   1. 비교 기준: 무대에서 막 공개된 GLM은 인공지능 리더보드 2위로 언급됐고, 사용 불가능한 Fable은 비교에서 제외됐다. 그 결과 M3는 상위권 모델들을 연이어 살펴보는 흐름 속에서 소개됐다.
   2. 경쟁 구도: DeepSeek, Moonshot의 Kimi, GLM, MiniMax가 중국의 새로운 ‘AI 드래곤’으로 묶인다. 전 세계에 비슷한 AI 연구소가 약 64개나 있다는 말이 나올 정도로 경쟁자가 많지만, 이 팀들은 모두 첫 자리를 놓고 겨루는 강력한 팀으로 평가된다.

2. Olive Song과 MiniMax의 배경

   1. 연구 경로: Olive Song은 미국 펜실베이니아로 와서 NYU의 Yann LeCun 연구실에서 박사과정을 밟았고 JPA를 연구했다. JPA에 관한 논의는 다음 기회로 미뤄졌다.
   2. 행선지 선택: 당시 뉴욕에 있던 Hugging Face에 합류하는 대신 MiniMax를 선택했다. MiniMax의 최신 릴리스 M3는 대화 시점 기준 6월에 출시된 가장 뛰어난 오픈소스 모델로 소개됐다.

1.2. M3의 능력 조합

1. 소형 활성 모델의 고성능

   1. 희소 활성화: 전체 파라미터는 처음에 약 400B, 활성화되는 파라미터는 약 20B로 설명된다. 즉 거대한 전체 용량을 보유하면서 토큰마다 일부만 계산하는 구조다.
   2. 후반 수치: 모델 규모를 다시 설명하는 대목에서는 전체 428B, 활성 23B로 제시된다. 두 수치가 함께 언급되므로 공개·설명 시점 또는 반올림 방식에 따른 차이로 남겨 둔다.

2. 미래 애플리케이션의 네 가지 기반

   1. 코딩과 에이전트: M3는 코딩 성능을 갖추고, 여러 단계의 도구 사용과 환경 상호작용을 수행하는 에이전트 능력을 목표로 한다.
   2. 긴 컨텍스트와 멀티모달: 이미지와 비디오를 이해하며 1M 토큰 컨텍스트를 제공한다. Olive Song은 코딩 능력, 에이전트 능력, 더 긴 컨텍스트, 멀티모달 이해를 미래 AI 애플리케이션에 중요할 네 요소로 묶는다.
   3. 오픈소스 희소성: Thomas Wolf는 M3가 당시 오픈소스 상위 5개 모델 가운데 실제 멀티모달인 유일한 모델이라고 평가한다.

2. 백만 토큰 컨텍스트를 가능하게 하는 MSA

긴 컨텍스트는 문서 투입용 기능에서 에이전트의 지속적인 상태·도구·환경 기억을 위한 실행 기반으로 확장된다.

2.1. 10M 토큰에서 에이전트용 1M 토큰으로

1. 초기 초장문 실험

   1. M1과 MiniMax-01: M1과 MiniMax-01은 이미 10M 토큰 컨텍스트 작업을 수행할 수 있었다. 이는 M3의 1M보다 긴 길이였지만, 에이전트 모델은 아니었다.
   2. 문서형 사용 사례: 책 한 권을 통째로 넣고 리뷰를 작성하게 하는 식의 작업은 가능했다. 긴 입력을 읽고 결과를 내는 능력과, 환경 속에서 여러 차례 행동하는 능력은 구분된다.

2. 에이전트에 필요한 컨텍스트의 이유

   1. 상호작용 누적: 사용자를 상대하는 과정에서 대화와 상태가 길어지고, 에이전트가 전체 환경과 상호작용하면서 도구 응답을 계속 받는다.
   2. 멀티 라운드 작업: 여러 라운드의 계획·실행·관찰이 하나의 작업에 이어지므로 짧은 컨텍스트로는 이전 판단과 새 도구 결과를 함께 유지하기 어렵다. 긴 컨텍스트가 복잡한 작업의 수행 능력을 열어 준다.

2.2. MiniMax Sparse Attention의 구조

1. 인덱스 브랜치의 선택

   1. 상위 수준 판단: 인덱스 브랜치(index branch)가 먼저 전체 컨텍스트에서 무엇이 더 중요한지를 높은 수준에서 선택한다.
   2. 계산 범위 축소: 모든 토큰을 동일하게 어텐션하는 대신, 의미 있는 블록을 골라 다음 계산 단계로 넘긴다.

2. 희소 어텐션 브랜치의 실행

   1. 선택 블록 계산: 희소 어텐션 브랜치(sparse attention branch)가 인덱스 브랜치가 고른 블록에 대해서만 실제 어텐션 계산을 수행한다.
   2. 확장 가능한 단순성: 단순하고 확장 가능한 설계로 컨텍스트 길이와 모델 크기를 함께 키울 수 있는 구조를 지향한다. MSA는 긴 컨텍스트를 무작정 전부 계산하는 비용을 줄이는 핵심 장치다.

2.3. 어텐션의 원점으로 돌아가는 효율화

1. 계산 복잡도에 대한 재검토

   1. N² 어텐션: 전통적인 어텐션은 컨텍스트가 길어질수록 토큰 쌍의 계산량이 N²로 증가한다.
   2. 선형 어텐션과 FlashAttention: 한동안 선형 어텐션(linear attention) 연구가 많았고, 이후 FlashAttention이 등장하면서 더 효율적인 커널을 사용하면 된다는 방향으로 관심이 이동했다.

2. 초장문 컨텍스트의 역사적 역전

   1. 크기의 기준 변화: GPT-2의 컨텍스트는 1,024 토큰이었고 당시에는 “더 필요하지 않을 만큼 큰” 길이로 여겨졌다. 이제 1M 토큰은 실용 기능으로 논의된다.
   2. 다음 목표: Jeff Dean이 1조 토큰(trillion-token) 어텐션을 제안한 사례가 언급된다. Olive Song은 울트라 롱 컨텍스트가 충분히 탐색할 수 있는 방향이며, 아키텍처 설계와 하드웨어를 함께 연구해야 한다고 답한다.

2.4. 아직 남은 효율화 여지

1. 아키텍처와 추론 최적화

   1. 낮은 매달림 과일: 아키텍처(architecture)와 추론 최적화(inference optimization)에는 여전히 개선 여지가 많다. 강력한 능력이 필요하면서 작업 민감도가 높은 업무일수록 비용 효율적인 모델이 중요하다.
   2. 비용 압력: OpenAI가 어텐션 처리 등 더 효율적인 처리로 추론 비용을 절반으로 줄였을 가능성이 언급되며, M3의 저렴한 사용 비용도 MSA와 비교적 작은 활성 모델에서 비롯된다고 설명된다.

2. 발견의 주체

   1. 인턴의 기여: MSA는 MiniMax 팀의 인턴이 설계했다. 일부 연구소에서는 인턴이 데이터나 핵심 작업에 접근하지 못하지만, MiniMax는 모델에 기여하고 싶은 사람에게 열려 있다고 설명한다.
   2. 조직 문화의 신호: “아직 인턴에게 할 일이 있다”는 Thomas Wolf의 농담은 초장문 어텐션 같은 핵심 아키텍처도 직급보다 문제 해결 기회와 접근성에서 나올 수 있음을 강조한다.

3. MiniMax의 연구 운영 방식

연구 속도는 폐쇄된 소수 전문가 집단보다 누구나 모델을 실험하고 약점을 검증할 수 있는 기반에서 나온다.

3.1. 모델을 놀이터로 만드는 인프라

1. 공통 기반 제공

   1. 재현 가능한 실험 환경: MiniMax는 좋은 기반(foundation)과 인프라(infrastructure)를 마련해 누구나 모델을 가지고 놀고 개선점을 생각할 수 있게 한다.
   2. 출시 후 개방: 모델 출시가 끝이 아니라, 구성원이 여유가 생겼을 때 모델을 다시 사용하고 새로운 평가를 설계할 수 있는 출발점이 된다.

2. 자발적 문제 발견

   1. 개별 평가: 연구자는 자신만의 평가(evaluation)를 만들고 모델의 약점을 찾은 다음, 개선하고 싶은 주제를 프로젝트로 제안한다.
   2. 관심 기반 합류: 다른 사람이 주제에 관심을 가지면 프로젝트에 합류한다. 직무 배정만으로 연구를 고정하지 않고 문제에 대한 관심이 협업을 만든다.

3.2. 짧은 반복과 깊은 탐색의 결합

1. 프로젝트 시간축

   1. 수 주에서 수개월: 프로젝트는 몇 주 동안 진행될 수도 있고 몇 달까지 이어질 수도 있다. 실험이 잘 끝나면 최종 결과를 모델에 반영한다.
   2. 사용자에게 배포: 검증된 결과는 최종 학습(final training)에 사용되고, 다시 외부 사용자에게 출시된다. 연구 아이디어가 내부 보고서에서 끝나지 않고 모델 버전으로 연결된다.

2. 아키텍처 연구의 깊이

   1. 장기 조사: 아키텍처 개선은 조사, 연구, 실험이 오래 필요할 수 있다.
   2. 평가의 재실행: 사전 학습(pre-training) 평가를 다시 수행해야 하므로 단순한 한 번의 벤치마크 수정으로 끝나지 않는다. 수개월의 탐색을 허용하는 구조가 긴 컨텍스트 같은 기반 기술을 뒷받침한다.

4. 네이티브 멀티모달 학습의 설계

텍스트 모델을 먼저 완성한 뒤 시각 기능을 덧붙이는 방식은 두 능력의 균형과 대규모 확장성에 제약을 만든다.

4.1. 사후 결합 방식의 한계

1. 텍스트 이후 비전 학습

   1. 일반적인 순서: 많은 모델 연구소는 텍스트 사전 학습을 끝낸 뒤 어댑터(adapter)를 붙이고 비전 이해 능력을 별도로 학습한다.
   2. 성능 손상: 이 방식은 텍스트 성능을 해칠 수 있고, 모델이 텍스트 이해 쪽으로 이미 수렴했기 때문에 비전 이해 성능도 잘 수렴하지 않을 수 있다.

2. 중간 투입의 레시피 민감성

   1. 계속 사전 학습: 사전 학습 중간부터 멀티모달 능력을 넣는 계속 사전 학습(continued pre-training)도 가능하지만, 아키텍처마다 학습 레시피가 달라진다.
   2. 확장 어려움: 데이터 혼합(data mixture)과 학습률(learning rate)에 따라서도 최적 방법이 달라진다. 제어가 어렵고, 한 실험의 결과와 결론을 더 큰 모델로 그대로 확장하기 어렵다.

4.2. 첫 단계부터 함께 학습하는 방법

1. 네이티브 멀티모달리티

   1. 처음부터 통합: MiniMax는 텍스트와 비전 이해를 가장 첫 학습 단계부터 함께 훈련하는 방식을 네이티브 멀티모달리티(native multimodality)라고 부른다.
   2. 붕괴 문제: 여러 연구소가 이 방식을 시도하면 몇 단계 만에 텍스트와 비전 이해가 모두 붕괴하는 문제가 생기지만, MiniMax는 그 문제를 해결했다고 설명한다.

2. ViT와 데이터 파이프라인

   1. 비전 인코더 작업: Vision Transformer(ViT)에 많은 연구를 수행해 텍스트 모델과 시각 입력을 함께 다루는 기반을 마련했다.
   2. 자연스러운 인터리브 데이터: 자연 데이터에서 이미지와 비디오를 제거하거나 마스킹하지 않고 그대로 보존해 텍스트와 시각 정보가 인터리브(interleave)되도록 했다.
   3. 품질 제어: 데이터 정제(cleaning)와 마스킹을 잘 수행하고, 보상 모델링(reward modeling)을 적용해 첫 단계부터 멀티모달 학습을 확장하면서도 모델이 붕괴하지 않게 했다.

5. 더 큰 모델과 실제 제품으로의 확장

M3는 파라미터 효율성과 실제 사용자 경험을 연결하는 중간 단계이며, 장기적으로는 더 큰 모델과 폭넓은 제품군을 지향한다.

5.1. 파라미터 규모를 넘어서는 다음 단계

1. 트릴리언 파라미터 가능성

   1. 확장 의사: M3가 비교적 작은 모델이라는 질문에 Olive Song은 미래에 1T 파라미터를 넘는 방향으로 확실히 나아가겠다고 답한다.
   2. 능력의 상한: 작은 파라미터 모델로는 충분히 잘 수행하기 어려운 작업이 많다. 더 큰 모델은 단순히 숫자를 키우는 일이 아니라, 현재 규모에서 닿지 못하는 작업을 수행하기 위한 수단이다.

2. M3에서 M3.1로

   1. 현재 진행: M4를 이미 만들고 있느냐는 질문에 “M3.1을 만들고 있다”고 답한다.
   2. 가벼운 긴장 완화: M3.1이라는 답 뒤에 웃음이 나오고, “헬스장에 가자”는 농담이 이어져 빠른 반복 개발의 분위기를 보여 준다.

5.2. 제품이 연구에 앞서지 않고 함께 가는 이유

1. 첫날부터 정해진 멀티모달 AGI 목표

   1. 창업 초기의 방향: CEO는 회사가 생기기 전부터 모든 비전을 이해하고 모든 모달리티를 출력하는 멀티모달 모델을 첫날의 계획으로 세웠다.
   2. ChatGPT 이전의 꿈: 이 목표는 ChatGPT가 등장하기도 전에 세워진 AGI의 꿈으로 설명된다. 앱에서 얻은 데이터를 보고 연구팀을 만든 역순의 이야기가 아니라, 모델 비전이 먼저였고 제품이 뒤따랐다.

2. 앱을 통한 능력의 체험

   1. API 장벽: 모든 사람이 API를 직접 사용할 수 있는 것은 아니다. 모델의 능력을 널리 경험하게 하려면 좋은 사용자 상호작용, 인터페이스, 앱, 구체적인 시나리오가 필요하다.
   2. 도달 범위: MiniMax 앱은 약 200개 국가에서 3억 명이 넘는 사람에게 도달했고, 100만 개가 넘는 기업도 사용한 것으로 소개된다.

6. 오픈소스와 커뮤니티 피드백의 순환

무료 공개와 지속 가능한 연구는 긴장 관계에 있지만, MiniMax 연구팀은 모델을 개방하고 커뮤니티를 개선 루프에 포함하는 쪽을 택한다.

6.1. 공개 모델을 계속 만드는 이유

1. 오픈소스 계획

   1. 연구팀의 의지: Olive Song 개인뿐 아니라 모델 연구팀 전체가 모델을 오픈소스화하기를 계속 희망하며, 그것이 계획이라고 말한다.
   2. 공동 개선: 오픈소스 커뮤니티는 모델 성능에 대한 피드백을 주고, 공개한 결과물에 PR을 보내며, 그 개선이 후속 버전에 반영된다.

2. M3의 무료 공개와 수익 질문

   1. 공개와 수익의 간극: M3를 무료로 공개하는 것은 세계에 좋은 일이지만, 조직에는 수익원이 필요하다는 질문이 제기된다.
   2. 답변의 초점: 구체적인 수익 모델을 상세히 설명하기보다, 모델을 공개할수록 공동체의 피드백과 코드 기여가 다음 모델의 품질을 높인다는 문화적·기술적 이유를 강조한다.

6.2. 커뮤니티가 보내야 할 피드백

1. 멀티모달 실패 사례

   1. 현재의 결함 보고: 텍스트와 멀티모달을 처음 결합한 모델이므로 특히 멀티모달리티에서 사용자가 겪는 문제와 성능 부족 사례를 알려 달라고 요청한다.
   2. 차기 버전 반영: 현재의 결함은 개선 중이며, 모델이 특정 작업을 잘하지 못한다는 구체적인 피드백이 후속 버전 개선으로 이어진다.

2. 원하는 기능 제안

   1. 사고 노력 제어: 사용자가 요청한 기능의 예로 thinking effort가 언급된다. 모델이 얼마나 깊이 생각할지 조절하는 기능에 대한 수요를 연구팀이 듣고 있다.
   2. 요청의 개방성: 사용자는 원하는 기능을 자유롭게 제안할 수 있고, 연구팀은 미래 모델에서 이를 실현하려고 시도한다.

7. 멀티모달 에이전트와 자동화된 연구

시각 입력은 코딩 에이전트의 주변 기능이 아니라, 비정형 자료를 읽고 장시간 관찰한 뒤 도구를 실행하게 하는 행동의 전처리 계층이 된다.

7.1. 아직 덜 탐색된 코딩 에이전트 활용

1. 비정형 자료 이해

   1. 프레젠테이션 읽기: 에이전트가 PowerPoint를 읽고 내용을 파악할 수 있다. 문서가 텍스트로 잘 구조화되지 않아도 시각 배치를 활용해 이해할 수 있다.
   2. 보고서 해석: 구조가 불분명한 보고서도 이미지·레이아웃·텍스트를 함께 해석해 후속 작업의 입력으로 삼을 수 있다.

2. 장시간 비디오에서 행동으로

   1. 관찰의 연장: 긴 재생 비디오를 통째로 넣고 핵심 내용을 이해하는 작업이 가능해진다.
   2. 도구 실행: 비디오를 이해한 뒤 모델이 도구를 사용해 행동하도록 만들 수 있다. 시각 이해와 긴 컨텍스트가 결합되면 기존에 분리됐던 ‘보고 판단하기’와 ‘실행하기’가 하나의 에이전트 흐름이 된다.

3. YouTube 튜토리얼의 에이전트화

   1. 사용법 습득: Thomas Wolf는 에이전트가 자신의 YouTube 튜토리얼을 보고 코딩 도구의 사용법과 설명을 이해할 수 있는지 묻는다.
   2. 가능성 확인: Olive Song은 가능하다고 답한다. 동영상 자체가 실행 절차와 도구 사용 지식을 담은 학습 자료가 될 수 있다는 의미다.

7.2. 연구 하네스가 만드는 자동 반복

1. 내부 자동화 기반

   1. 자체 하네스: MiniMax는 자체 연구 하네스(research harness)를 만들고 연구 워크플로를 자동화한다. 내부 업무의 상당 부분이 자동화되어 있다.
   2. 능력 활용: 최신 프런티어 모델은 커널 수준의 효율화만이 아니라 모델이 다른 모델을 포스트 트레이닝(post-training)하거나 학습 데이터를 만드는 방향으로 능력을 확장하고 있다.

2. M3가 맡는 연구 보조 역할

   1. 자동 데이터 생성: M3도 모델이 데이터를 구축하는 자동 데이터(auto-data) 같은 작업을 수행할 수 있는 모델로 설명된다.
   2. 긴 시간축과 반복 조직화: M3는 더 긴 작업 시간축(longer horizons)과 연구 과정을 조직화하는 자동화에서 좋은 성능을 보인다. 이 능력을 하네스에 결합하면 일상적인 연구 루틴을 보조하고 모델 반복(iteration)을 더 빠르게 만들 수 있다.

8. 다음 AI 애플리케이션의 방향

더 긴 컨텍스트 하나만으로 모든 문제가 해결되는 것이 아니라, 여러 전문 에이전트와 모델 라우팅이 결합될 때 복잡한 작업의 범위가 넓어진다.

8.1. 멀티에이전트와 모델 라우팅

1. 전문화된 구성

   1. 멀티에이전트: Olive Song이 최근 가장 흥미로운 분야로 꼽은 것은 멀티에이전트(multi-agents)다. 여러 에이전트가 각자의 역할을 나누면 하나의 모델에 모든 능력을 요구하지 않아도 된다.
   2. 모델 라우팅: 모델 라우팅(model routing)은 작업의 성격에 따라 적합한 모델이나 에이전트로 요청을 보내는 방식이다. 긴 문서, 코딩, 시각 판단처럼 서로 다른 요구를 조합할 수 있다.

2. 능력과 한계의 측정

   1. 복잡도 상승: 멀티에이전트 구성은 더 많은 능력과 더 복잡한 작업을 가능하게 한다.
   2. 한계의 관찰: 여러 에이전트를 함께 운용하면 현재 모델이 무엇을 할 수 있고 무엇을 못 하는지 더 선명하게 드러난다. 그 관찰 자체가 다음 모델과 애플리케이션 설계를 위한 평가 자료가 된다.

주요 발언 모음

“더 긴 컨텍스트는 특히 사용자와 상호작용할 때 많은 능력을 열어 준다.” — Olive Song

“에이전트가 전체 환경과 상호작용하고 모든 도구 응답을 받으며 여러 라운드를 거치면, 짧은 컨텍스트만으로는 복잡한 작업을 수행하기에 충분하지 않다.” — Olive Song

“인덱스 브랜치는 컨텍스트에서 무엇이 더 중요한지 상위 수준에서 선택하고, 희소 어텐션 브랜치는 선택된 블록에 계산을 수행한다.” — Olive Song

“1조 토큰 컨텍스트는 분명히 탐색할 수 있는 방향이며, 아키텍처 설계와 하드웨어를 함께 연구해야 한다.” — Olive Song

“그 아키텍처는 실제로 인턴이 설계했다.” — Olive Song

“모델을 처음부터 멀티모달로 훈련하면 텍스트와 비전 이해가 함께 붕괴할 수 있지만, 우리는 그 문제를 해결했다.” — Olive Song

“우리는 모델을 오픈소스화하기를 항상 희망한다.” — Olive Song

“에이전트가 마침내 YouTube 튜토리얼을 보고 그 안의 내용을 이해할 수 있느냐고요? 그렇다고 생각한다.” — Olive Song

“최근 가장 흥미로운 것은 멀티에이전트다. 더 많은 능력과 더 복잡한 작업을 가능하게 한다.” — Olive Song

핵심 데이터 & 수치

• M3 초기 파라미터 수치: 전체 약 400B, 활성 약 20B로 소개됐다.
• M3 후반 파라미터 수치: 전체 428B, 활성 23B로 다시 언급됐다.
• 컨텍스트 길이: M3는 1M 토큰, 선행 모델 M1과 MiniMax-01은 10M 토큰 작업을 지원했다.
• 과거 컨텍스트 기준: GPT-2는 1,024 토큰 컨텍스트를 사용했다.
• 차세대 상상: Jeff Dean의 1조 토큰 어텐션 제안이 언급됐다.
• MiniMax 앱 도달 범위: 약 200개 국가에서 3억 명 이상과 100만 개 이상 기업으로 소개됐다.
• 중국 AI 연구소 수: 전 세계에 약 64개의 관련 AI 연구소가 있다는 발언이 있었다.
• 연구 프로젝트 기간: 개선 과제는 수 주에서 수개월, 아키텍처 탐색은 더 긴 조사와 재평가가 필요할 수 있다.
• 모델 로드맵: M4가 아니라 M3.1을 만들고 있다는 답변이 나왔다.

결론 및 시사점

1. 긴 컨텍스트는 문서 요약의 길이 경쟁이 아니라, 도구 응답과 환경 상태를 누적하는 에이전트 메모리의 실행 조건이다.
2. 초장문 컨텍스트가 실용화되려면 중요한 블록을 먼저 찾는 인덱싱과 선택 영역만 계산하는 희소 어텐션이 하드웨어 최적화와 함께 발전해야 한다.
3. 멀티모달 능력은 텍스트 모델에 어댑터를 나중에 붙이는 부가 기능이 아니라, 첫 학습 단계부터 데이터·ViT·보상 모델링을 함께 설계하는 기반 능력으로 다뤄야 한다.
4. 코딩 에이전트는 화면과 동영상, PowerPoint, 비정형 보고서를 읽은 뒤 도구를 호출하는 방향으로 확장될 수 있다.
5. 공개 모델의 품질은 내부 연구만으로 결정되지 않으며, 사용자의 실패 사례·PR·기능 요청이 다음 학습과 평가의 입력이 된다.
6. 누구나 모델을 실험하고 자체 평가를 만들 수 있는 인프라는 인턴도 핵심 아키텍처를 제안하게 만드는 조직적 조건이다.
7. 모델 자체의 장기 작업 능력과 연구 하네스를 결합하면 데이터 생성·포스트 트레이닝·평가·반복 개발의 속도를 높일 수 있다.
8. 다음 단계의 AI 애플리케이션은 단일 범용 모델의 크기만 키우기보다 멀티에이전트와 모델 라우팅으로 전문 능력을 조합할 가능성이 크다.

핵심 요약 (20줄)

MiniMax M3는 코딩·에이전트·멀티모달 이해·1M 토큰 컨텍스트를 하나의 오픈소스 모델에 결합한다. 전체 약 400B급 파라미터 중 약 20B만 활성화해 거대한 능력과 추론 효율을 함께 노린다. 설명 후반에는 M3의 규모가 전체 428B, 활성 23B로 다시 제시된다. M1과 MiniMax-01은 에이전트가 아닌 문서형 작업에서 10M 토큰 컨텍스트를 이미 다뤘다. 책 전체를 넣어 리뷰하는 작업과 도구를 여러 번 호출하는 에이전트 작업은 서로 다른 컨텍스트 요구를 갖는다. 에이전트는 사용자 대화·환경 상태·도구 응답·멀티 라운드 실행을 길게 유지해야 복잡한 작업을 수행한다. MiniMax Sparse Attention은 인덱스 브랜치가 중요한 컨텍스트 블록을 먼저 선택하는 구조다. 희소 어텐션 브랜치는 선택된 블록에만 계산을 수행해 긴 입력의 비용을 줄인다. MSA는 컨텍스트 길이와 모델 규모를 함께 확장할 수 있는 단순하고 확장 가능한 설계를 지향한다. GPT-2의 1,024 토큰에서 1M 토큰으로 커진 컨텍스트는 필요성의 기준 자체가 변했음을 보여 준다. 1조 토큰 어텐션은 아키텍처와 하드웨어를 함께 연구해야 하는 초장기 탐색 방향으로 제시된다. MSA는 인턴이 설계했으며 누구나 모델을 실험할 수 있는 MiniMax의 접근성이 배경이 됐다. MiniMax는 출시 후 연구자가 자체 평가와 약점 분석을 바탕으로 수 주에서 수개월짜리 프로젝트를 제안하게 한다. 검증된 개선 결과는 최종 학습에 반영된 뒤 다음 모델과 외부 배포물로 연결된다. 네이티브 멀티모달 학습은 텍스트 사전 학습 후 어댑터를 붙이는 방식의 성능·확장성 문제를 피하려는 선택이다. ViT 연구와 이미지·비디오를 보존한 인터리브 데이터, 정제·마스킹·보상 모델링이 학습 붕괴를 막는다. MiniMax 앱은 약 200개 국가의 3억 명 이상과 100만 개 이상 기업에 도달했다고 소개된다. 오픈소스 커뮤니티의 성능 피드백과 PR은 후속 모델 개선에 직접 활용된다. 멀티모달 에이전트는 PowerPoint·비정형 보고서·긴 비디오를 이해한 뒤 도구를 실행할 수 있다. 멀티에이전트와 모델 라우팅은 복잡한 작업을 확장하면서 모델의 가능·불가능 영역도 드러낸다.