MiniMax M3在100万Token上下文下单Token计算量降至上代约1/20，预填充提速9.7倍、解码提速15.6倍；其核心是自研MSA稀疏注意力架构，通过索引分支粗筛+稀疏分支精准计算，跳过93%以上KV对，实现零精度折损的物理级降本。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

MiniMax M3模型在100万Token上下文规模下，单Token计算量仅为上一代模型的约1/20，预填充速度提升9.7倍、解码速度提升15.6倍——这不是工程优化的边际改善，而是底层注意力机制被彻底重写后的物理级降本。

传统Transformer为何一到长文本就“算不动”？

全注意力机制的计算复杂度是O(n²)，意味着上下文从1万Token扩到100万Token，理论计算量暴增1万倍。真实场景中，模型不得不在显存、延迟、精度三者间反复妥协：要么截断上下文，要么降低batch size，要么用潜空间压缩牺牲语义保真度。

这一步不是性能瓶颈，而是数学诅咒——【所有基于标准Attention的模型都逃不开这个平方律枷锁】。

MSA架构的双分支设计：先挑重点，再精准计算

MiniMax没有修修补补，而是用MSA（MiniMax Sparse Attention）把整个注意力流程拆成两个独立阶段：

方法一：索引分支（Index Branch）

用轻量级单头Key + Block Max Pool技术，在毫秒级内对全局百万Token做粗筛，只锁定Top-K个最相关的KV数据块。该分支不参与最终生成，仅输出“该看哪几页”，计算开销可忽略不计。

方法二：稀疏分支（Sparse Branch）

仅在索引分支选出的K个数据块上，执行标准GQA（分组查询注意力）。其余93%以上的KV对被跳过，既不加载进显存，也不参与任何矩阵运算。

注意：MSA全程使用原始KV，不做任何潜空间映射或量化压缩——【精度零折损的前提，是彻底放弃“全量扫描”这个工业时代遗留习惯】。

为什么DeepSeek的NSA没被M3采用？

第一步：确认技术路径取舍

DeepSeek NSA包含压缩路径、选择路径、滑窗路径三条线，而M3只保留纯选择路径。

第二步：排查兼容性风险

vLLM与SGLang等主流推理框架对压缩路径支持不稳，强行接入会导致部分CUDA算子fallback至CPU，反而拖慢整体吞吐。

第三步：验证训练稳定性

在OmniDocBench多模态文档测试中，启用压缩路径后，跨页表格引用准确率下降11.3%，说明非线性压缩会破坏视觉-文本对齐的几何结构。

这一步操作起来很简单，直接把文件拖进去就行。但若为追求理论峰值而硬上压缩，会在真实Agent任务中暴露工具调用链断裂问题。