MiniMax M3 开源模型发布:1M-token 上下文与 MSA 稀疏注意力
the kernels are doing the lord's work today, day-0 on @vllm_project, verified on nvidia and amd. g...
AI 导读MiniMax 发布全新开源模型 M3,具备前沿编码、智能体能力、原生图像视频输入、Computer Use 及 1M-token 上下文窗口。核心采用 MSA 稀疏注意力架构:每个 query 仅对 128-token 的 KV 块打分,只关注 top 块,使超长上下文实际可部署。M3 在 vLLM 获 Day-0 支持,已在 NVIDIA 和 AMD 硬件验证,包括 MSA 专用 prefill/decode kernel、1M-token 上下文服务(prefix caching + chunked prefill)、BF16/MXFP8 检查点(Hopper 和 Blackwell 的 MoE 后端)、原生多模态输入,以及工具调用、推理解析和思考模式控制等功能。
另有 4 家信源报道
- MiniMax 开源 M3 模型权重及 MSA 技术论文公众号:MiniMax · 6 月 15 日
- MiniMax M3 权重开源,回应 Anthropic 出口管制MiniMax · 6 月 13 日
- MiniMax M3 获 vLLM 日零支持,1M 上下文窗口与 MSA 稀疏注意力MiniMax · 6 月 13 日
- MiniMax M3 开源权重模型发布,已上架 HuggingFaceMiniMax · 6 月 12 日
来源:MiniMax · x.com