M3.1 Flash는 실제 업무를 얼마나 빨리 끝낼까? 속도·정확도·비용을 검증하는 법

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==더 빠른 모델을 도입한 뒤 실제로 빨라졌는지는 토큰 생성 속도가 아니라, 사람이 검증하고 바로 사용할 수 있는 결과물을 완성하는 데 걸린 전체 시간과 비용으로 판단해야 한다.== 계산량을 줄이는 최적화가 근거 누락, 정확도 하락, 긴 대기열, 추가 도구 호출이나 사람의 수정으로 이어지면 모델은 빨라져도 업무는 빨라지지 않는다.

• 모델의 처리량과 첫 토큰 지연, 추론량은 서로 다른 운영 지표다.
• 정확도는 평균 점수만 보지 말고 해당 업무에서 중요한 근거·재무 수치·보고기간이 맞는지 검증해야 한다.
• 재시도와 실패, 보고서 수정에 투입된 사람의 시간까지 비용으로 계산해야 한다.
• 동일한 자료와 기준을 고정하고 결과를 재현할 수 있어야 모델 간 비교가 의미를 갖는다.

MiniMax의 Morgan Suo는 M3.1 Flash의 계산 효율 개선을 실제 기업 리서치 업무에 대입한다. AI 서버 수요가 커지는 가운데 PCB(Printed Circuit Board, 인쇄회로기판) 공급업체가 성장세를 실제 현금으로 전환하는지 판단하는 작업이다. 14개 기업 보고서에서 자료를 찾고, 보고기간을 맞추고, 서로 다른 사업을 혼동하지 않으며, 수치가 의미하는 바를 설명해야 한다. 이 업무를 통해 희소 어텐션, 4비트 KV 캐시, 저정밀 전문가 연산, 추측 디코딩, 동시성, 추론 예산의 이점과 위험을 살펴본 뒤, 신뢰도·완성 비용·재현성을 함께 측정하는 평가법을 제시한다.

1. 더 빠른 생성과 더 빨리 끝나는 업무는 다르다

더 빠른 모델의 가치는 실제 사용 가능한 결과물을 얼마나 빨리 만들었는지로 판단해야 한다.

1.1. 속도 향상이 사람의 수정을 부르면 업무는 빨라지지 않는다

1. 빠른 응답이 반드시 좋은 결과는 아니다.

   1. 새 모델이 같은 작업을 더 빨리 생성해도 중요한 출처 하나를 빠뜨리면 분석가는 그 자료를 찾아 보고서를 고쳐야 한다.
   2. 토큰이 출력되는 속도만 재면 누락을 발견하고 보완하는 시간, 재실행과 검수에 걸리는 시간이 빠진다.

2. 모델 선택은 적용할 업무를 기준으로 판단해야 한다.

   1. 짧은 채팅 답변과 근거를 확인해야 하는 리서치 보고서는 필요한 성능이 다르다.
   2. 벤치마크나 서빙 설정은 해당 업무의 정확성·대기 시간·비용 기준과 연결해서 해석해야 한다.

1.2. 14개 기업 보고서로 실제 리서치 업무를 정의한다

1. 분석 질문은 매출 성장보다 현금 전환에 초점을 둔다.

   1. AI 서버 수요가 커지는 상황에서 회로기판 공급 기업들이 그 성장을 현금으로 만들고 있는지를 묻는다.
   2. PCB는 Printed Circuit Board의 약자로, AI 서버 같은 전자기기 안에서 부품을 연결하는 인쇄회로기판이다.

2. 보고서가 완성되려면 자료 수집부터 설명까지 연결되어야 한다.

   1. 내부 검토 사례는 14개 기업의 보고서를 다루며, 모델은 관련 보고서를 찾고 같은 보고기간끼리 비교하고 기업별 사업을 분리해야 한다.
   2. 결과는 숫자만 나열하지 않고 그 수치가 뜻하는 바를 설명해야 하며, 분석가는 중요한 주장에 연결된 원문을 열고 계산을 재검산할 수 있어야 한다.
   3. 결론을 바꿀 수 있는 반대 근거나 증거가 무엇인지도 확인할 수 있어야 한다. 이런 검증 가능성이 완료된 리서치의 기준이다.

1.3. 이익과 현금 흐름은 서로 다른 이야기를 할 수 있다

1. 보고된 이익이 늘어도 현금이 들어온 것은 아닐 수 있다.

   1. 매출이 증가해 이익이 늘었더라도 고객이 아직 대금을 지급하지 않았다면 실제 현금 유입은 지연된다.
   2. 원자재를 사서 재고로 쌓아 둔 경우에도 비용과 현금의 흐름은 이익 수치와 다르게 움직일 수 있다.

2. 따라서 모델은 현금흐름표와 관련 주석을 찾아야 한다.

   1. 매출·이익만으로 공급망 수요의 현금화 여부를 단정하지 않고, 현금흐름표와 공시 주석의 근거를 추적해야 한다.
   2. 핵심 주장을 출처와 계산으로 검증할 수 있어야 보고서가 신뢰를 얻으며, 이 품질 검증과 동일 업무의 시간·비용 측정을 함께 해야 한다.

2. M3.1 Flash의 계산 절감은 결과 검증과 함께 평가해야 한다

모델 내부의 효율 개선은 계산·메모리 이동을 줄이지만, 각 단계마다 실제 근거를 놓치거나 답의 품질을 바꾸지 않는지 확인해야 한다.

2.1. 희소 어텐션은 긴 문서에서 필요한 구간을 찾아야 한다

1. 큰 컨텍스트 창만으로는 필요한 정보를 빨리 찾지 못한다.

   1. 발표에서는 백만 토큰 컨텍스트를 예로 들며, 긴 입력의 목적은 더 많은 텍스트를 넣는 데 그치지 않고 필요한 결과를 빠르고 정확하게 찾아내는 데 있다고 설명한다.
   2. 질의마다 중요한 구간은 달라진다. 산업 전망 여러 페이지보다 현금흐름에 관한 짧은 각주 하나가 분석 결론에 더 중요할 수도 있다.

2. 희소 어텐션은 전체를 동일하게 계산하는 대신 선택한 블록에 집중한다.

   1. 먼저 작은 선택 단계가 텍스트 블록에 점수를 매기고, 본 어텐션은 선택된 블록과 그 주변 문맥을 중심으로 계산한다.
   2. 선택은 질의에 따라 바뀌므로 질문이 달라지면 살펴봐야 할 문맥도 달라진다. M3.1 Flash는 첫 세 레이어에 이 희소 어텐션을 적용한다고 설명한다.
   3. 목표는 여러 문서 전체에서 어텐션 계산을 줄이면서도 결론을 바꿀 만한 짧은 각주를 놓치지 않는 것이다.

3. 39개 위치 검색 테스트는 출발점이지 리서치 품질의 증명은 아니다.

   1. 핵심 사실을 긴 입력의 서로 다른 위치에 둔 별도 검색 테스트에서 모델은 39개 요청을 모두 통과했고, 가장 긴 입력은 약 83만 토큰이었다.
   2. 이 결과는 해당 테스트 사례에서의 검색 성능을 보여줄 뿐, 실제 기업 보고서에서 현금흐름 각주를 찾는지, 보고기간을 맞추는지, 문서 간 충돌을 감지하는지는 따로 검증해야 한다.
   3. 같은 질문을 유지한 채 중요 구절의 위치를 바꿔 재검사하고, 실제 보고서에서 근거를 찾아내는지를 확인해야 긴 컨텍스트가 유용하다.

2.2. 4비트 KV 캐시는 평균 점수에 가려지는 약점을 드러낼 수 있다

1. KV 캐시의 키와 값을 8비트에서 4비트로 줄인다.

   1. 모델은 앞서 읽은 텍스트의 내부 표현을 KV 캐시에 보관한다. M3.1 Flash는 키(key)와 값(value)을 8비트에서 4비트로 바꾸고, 질의(query)는 8비트로 유지한다.
   2. 표현을 줄이면 저장하고 이동할 데이터 양을 줄일 수 있지만, 내부 정보 표현이 달라져 특정 과제의 점수에 영향을 줄 수 있다.

2. 평균이 비슷해도 중요한 세부 점수는 크게 변할 수 있다.

   1. 발표에서 비교한 전체 설정의 평균 점수는 거의 비슷했지만, 한 ‘sign’ 점수는 6.6%포인트 하락했고 다른 항목은 상승했다.
   2. 평균은 사용자가 실제로 중요하게 여기는 특정 오류를 가릴 수 있다. 여러 최적화를 함께 적용한 전체 설정 비교만으로는 어느 변경이 점수 변화를 일으켰는지 알 수 없다.
   3. 실제 업무에 적용할 때는 출처가 맞는지, 계산이 맞는지, 설명이 근거와 일치하는지 결과를 직접 검토해야 한다.

2.3. 저정밀 전문가 연산도 계산 순서와 완성 구현을 검증한다

1. MoE 구조에서 선택된 전문가의 가중치와 활성값을 4비트로 처리한다.

   1. Mixture-of-Experts(MoE)는 토큰마다 일부 전문가(expert)를 선택해 계산한다. 선택된 전문가의 가중치(weights)와 활성값(activations)은 4비트로 처리한다.
   2. 공유 전문가(shared expert)는 이 변경 대상에서 제외된다. 낮은 정밀도는 데이터 이동을 줄이고 계산 효율을 높일 수 있다.

2. 양자화 계산의 스케일 복원 위치와 순서가 결과에 중요하다.

   1. 수치를 스케일링하고 계산한 다음 스케일을 복원하는 단계가 필요하며, 각 단계가 언제 적용되는지가 정확도에 영향을 준다.
   2. 빠른 산술 연산 자체가 정확한 답을 보장하지 않는다. 같은 질문을 실제 연구 자료에 다시 적용하고, 완성된 구현에서 어떤 답이 검증 기준을 놓쳤는지 분석해야 한다.

2.4. 추측 디코딩의 검증 시간도 전체 응답 시간에 포함한다

1. 초안 모델과 대상 모델이 토큰 생성을 나눠 맡는다.

   1. 빠른 초안(draft) 모델이 짧은 토큰 시퀀스를 제안하면 대상(target) 모델이 이를 확인한다.
   2. 대상 모델이 받아들인 앞부분은 유지하고, 거부한 토큰은 수정한 뒤 다음 제안을 이어 간다. 한 번의 대상 모델 확인으로 여러 토큰을 수용하면 생성이 빨라질 수 있다.

2. 제안·검증·거부에 걸린 시간까지 계산해야 한다.

   1. 초안을 만드는 일에도 시간이 들고, 확인하는 일과 토큰을 거부해 고치는 일에도 시간이 든다. 절감된 생성 시간만 계산하면 실제 이득을 과대평가할 수 있다.
   2. 토큰 검증과 별개로 재무 주장과 출처 검증이 필요하므로, 실제 리서치 작업에서는 출처 검색, 도구 호출, 재시도를 모두 포함해 분석가가 사용할 수 있는 보고서가 나올 때까지의 시간을 측정해야 한다.

3. 사용자 대기와 추론량도 운영 결과를 바꾼다

처리량이 높아져도 사용자의 대기 시간이 길어질 수 있고, 추론 예산을 낮추면 토큰을 아끼는 대신 정확도를 잃을 수 있다.

3.1. 동시 요청 증가는 처리량과 첫 토큰 지연을 함께 바꾼다

1. 동시성을 32건에서 64건으로 높인 별도 서빙 테스트에서 처리량은 약 1.9배가 됐다.

   1. 이 테스트는 낮은 추론 노력(low reasoning effort) 설정에서 동시에 처리하는 요청 수를 32에서 64로 늘렸다.
   2. 초당 총 출력량은 약 1.9배로 증가했지만, 95백분위 첫 토큰 대기 시간(P95 time to first token)은 약 1.5초에서 11.3초로 늘었다.

2. 처리량이나 중앙값만으로 사용자의 체감을 설명할 수 없다.

   1. 11.3초는 약 8배에 가까운 지연이며, 높은 처리량이 보이더라도 사용자는 첫 응답이 올 때까지 기다린다. 중앙값만 보면 꼬리 지연을 놓칠 수 있다.
   2. 첫 토큰이 도착한 시각만이 아니라 검증 가능한 보고서가 실제로 완성되는 시각을 측정하고, 업무상 약속한 마감 시간을 충족하는지 봐야 한다.

3.2. 추론 예산을 낮추면 출력량과 정확도가 함께 달라질 수 있다

1. 추론 설정을 생략하면 기본값이 최대(Max)일 수 있다.

   1. 발표에서 설명한 문서 설정에서는 사고(reasoning)가 켜져 있고, 노력 수준을 비워 두면 기본값이 max가 된다.
   2. 기본 설정은 모델에 요청하는 생각의 양과 출력 토큰 수를 바꾸므로, 비교 실험에서는 이 설정을 명시적으로 기록해야 한다.

2. High는 토큰을 줄였지만 소개된 코딩 테스트의 정확도도 낮췄다.

   1. high 추론은 max보다 출력 토큰을 적게 사용했지만 정확도는 80%에서 68%로 하락했다.
   2. 적은 토큰을 곧바로 효율 향상으로 간주하지 말고 같은 보고서에서 근거 검색과 계산이 유지되는지 확인해야 한다.
   3. 빠른 초안과 검토 가능한 최종 보고서에는 서로 다른 추론 예산이 적절할 수 있다. 업무 단계별로 필요한 예산을 정하고 설정을 남겨야 한다.

4. 모델 전환은 고정된 업무를 세 가지 축으로 비교한다

비교 조건과 합격 기준을 사전에 정하고, 신뢰도·사용 가능한 결과물의 전체 비용·재현성을 동일 업무에서 측정해야 한다.

4.1. 비교 전에 질문·자료·기준을 고정한다

1. 동일한 질문, 원문 보고서, 정보 기준 시점을 사용한다.

   1. 모델 비교를 시작하기 전에 분석 질문과 원본 보고서, 정보가 반영되는 컷오프 시점을 고정한다.
   2. 무엇을 수용 가능한 보고서로 볼지 먼저 합의해야 결과를 본 뒤 기준을 바꾸는 일을 피할 수 있다.

2. 첫 번째 축은 분석가가 결과를 검증하고 신뢰할 수 있는지다.

   1. 중요한 주장의 원문을 열 수 있는지, 보고기간이 일치하는지, 재무 계산을 다시 해도 맞는지 확인한다.
   2. 결론을 뒤집을 수 있는 근거가 무엇인지 드러나는지도 점검한다. 읽을 수 있는 출처와 검산 가능한 숫자는 품질의 일부다.

4.2. 실제로 쓸 수 있는 보고서의 시간·비용과 재현성을 기록한다

1. 두 번째 축은 사용 가능한 결과물을 만드는 전체 시간과 비용이다.

   1. 모델 호출뿐 아니라 검색, 도구 사용, 재시도, 실패한 실행에 든 비용을 포함한다.
   2. 사람이 보고서를 고쳐야만 사용할 수 있다면 그 수정 시간과 비용도 더한다. 기대 동시 사용자 수에서 마감 시간 안에 보고서가 도착하는지, 쓸 수 있는 보고서 한 건당 얼마인지 계산한다.

2. 세 번째 축은 같은 결과를 다시 만들 수 있는지다.

   1. 모델과 런타임 버전, 프롬프트 설정, 사용한 원문 자료를 함께 저장한다.
   2. 실패 사례도 보존해 이후 비교에 쓰고, 작은 범위로 먼저 배포한 뒤 되돌릴 방법을 마련한다.

4.3. 최종 판단은 모델 속도가 아니라 업무 성과에 둔다

1. 모델별 최적화는 검증 가능한 보고서의 품질을 해치지 않는 범위에서 평가한다.

   1. 희소 어텐션은 긴 입력에서 필요한 근거를 찾는지, 양자화는 특정 항목의 정확도를 훼손하지 않는지, 추측 디코딩은 검증 시간을 포함해 이득인지 각각 살핀다.
   2. 동시성 설정과 추론 예산은 사용자 대기와 결과 정확도까지 함께 비교한다.

2. 측정의 단위는 토큰이 아니라 완성된 업무다.

   1. 분석가가 출처를 열고 숫자를 확인할 수 있는 보고서가 필요한 때 도착하고, 수정·실패까지 포함한 비용이 합리적이어야 전환의 가치가 있다.
   2. 더 빠른 모델은 중요하지만, 그 모델로 완성할 수 있는 업무가 무엇인지가 더 중요하다.

주요 발언 모음

“더 빠른 모델이 도움이 되는지는 완성된 작업이 실제로 더 빨라졌는지로 판단해야 한다.”

“긴 입력은 모델이 핵심 사실을 찾아낼 수 있을 때 유용하다.”

“빠른 모델도 중요하지만, 더 중요한 것은 그 모델로 우리가 무엇을 할 수 있느냐다.”

핵심 데이터 & 수치

• 14개 기업 보고서: PCB 공급업체의 AI 서버 수요 성장과 현금 전환을 판단하는 내부 리서치 작업의 자료 규모다.
• 백만 토큰 컨텍스트: 큰 컨텍스트 창이 필요한 사실을 자동으로 찾아준다는 뜻은 아니다.
• 39개 요청 / 약 83만 토큰: 서로 다른 위치에서 사실을 찾는 별도 검색 테스트에서 모든 요청을 통과했고, 최장 입력은 약 830k 토큰이었다.
• KV 캐시 정밀도: 키와 값은 8비트에서 4비트로 낮추고 질의는 8비트로 유지한다.
• 6.6%포인트 하락: 전체 평균은 거의 비슷해도 한 ‘sign’ 점수가 이만큼 낮아졌다고 제시했다.
• MoE 전문가 정밀도: 선택된 전문가의 가중치와 활성값은 4비트이며 공유 전문가는 해당 변경에서 제외된다.
• 동시 요청 32→64건: 초당 총 출력량은 약 1.9배가 됐다.
• P95 첫 토큰 대기 약 1.5→11.3초: 처리량이 증가하는 동안 95백분위 대기 시간은 약 8배 길어졌다.
• 추론 수준 High 대 Max: High는 출력 토큰을 줄였지만 소개된 코딩 테스트 정확도는 80%에서 68%로 내려갔다.
• 평가의 세 축: 결과의 검증 가능성, 실패·도구 사용·사람 수정을 포함한 완료 시간과 비용, 모델·런타임·프롬프트·원문의 재현성이다.

결론 및 시사점

1. 모델 속도 비교를 토큰/초만으로 끝내지 말고 검증을 통과한 결과물이 완성되는 시간으로 바꿔야 한다.
2. 짧은 각주와 보고기간 차이처럼 실제 결론에 영향을 주는 근거를 기준으로 평가 데이터를 설계해야 한다.
3. 평균 점수뿐 아니라 과제별 하락, 꼬리 대기 시간, 실패와 재시도, 사람의 수정량을 함께 공개해야 한다.
4. 사용 가능한 결과물 한 건당 비용을 계산하고, 작은 롤아웃과 롤백 경로를 준비한 뒤 전환해야 한다.
5. 이 발표의 마지막에는 MiniMax의 AI 동영상 생성 모델로 만든 짧은 시연이 이어진다. 발표자는 동영상 모델 작업도 계속 진행 중이라고 소개한 뒤, 첫 질문으로 돌아와 “무엇을 만들어낼 수 있는가”가 속도보다 중요하다는 메시지로 마무리한다.

핵심 요약 (20줄)

Morgan Suo는 MiniMax에 합류한 지 거의 3년이 됐으며, 미국 시장에 진입할 당시에는 회사를 아는 사람이 거의 없었다고 소개한다.

초기 동영상 생성 모델 이야기를 예고한 뒤, M3.1 Flash와 더 빠른 모델의 숨은 비용을 설명한다.

새 모델이 더 빨리 답해도 중요한 출처를 빠뜨리면 사람이 자료를 찾아 보고서를 수정해야 한다.

짧은 채팅과 검증 가능한 리서치 보고서는 서로 다른 성능 기준을 요구한다.

사례 업무는 AI 서버 수요 증가가 PCB 공급업체의 실제 현금 증가로 이어지는지 판단한다.

내부 검토 작업은 14개 기업 보고서에서 자료를 찾고 보고기간과 사업 단위를 맞춘다.

분석가는 핵심 주장에 연결된 원문을 열고 계산을 재검산하며 결론을 바꿀 근거를 확인해야 한다.

매출과 이익이 늘어도 미수금이나 재고 때문에 현금 흐름은 다르게 나타날 수 있다.

희소 어텐션은 텍스트 블록을 먼저 점수화하고 선택된 구간과 주변 문맥에 계산을 집중한다.

M3.1 Flash는 첫 세 레이어에 희소 어텐션을 적용하며 검색 테스트 39건을 통과했다.

그 검색 테스트의 최장 입력은 약 83만 토큰이었지만 실제 보고서에서 각주와 기간 충돌을 찾는 검증은 별도로 필요하다.

M3.1 Flash는 KV 캐시의 키와 값을 8비트에서 4비트로 줄이고 질의는 8비트로 유지한다.

평균 점수가 비슷해도 특정 sign 점수는 6.6%포인트 하락할 수 있으므로 평균만으로 품질을 판단하면 안 된다.

MoE에서 선택된 전문가의 가중치와 활성값은 4비트로 계산하고 공유 전문가는 변경 대상에서 제외한다.

추측 디코딩은 빠른 초안이 토큰을 제안하고 대상 모델이 수용·수정할 토큰을 판정한다.

동시 요청을 32건에서 64건으로 늘리자 출력 처리량은 약 1.9배가 됐지만 P95 첫 토큰 대기는 약 1.5초에서 11.3초로 늘었다.

추론 설정을 생략하면 기본값이 최대일 수 있으며, High는 토큰을 줄였지만 코딩 정확도도 80%에서 68%로 낮췄다.

공정한 비교를 위해 같은 질문·자료·정보 컷오프를 고정하고 합격 기준을 먼저 정해야 한다.

사용 가능한 보고서의 비용에는 검색, 도구 호출, 재시도, 실패와 사람의 수정 시간까지 포함해야 한다.

모델·런타임·프롬프트·원문을 보존해 결과를 재현하고 작은 배포와 롤백을 준비해야 한다.