分类：AI动态 标签：大模型、小米、人工智能、开源项目

近日，小米 MiMo 大模型负责人罗福莉正式发文，官宣小米下一代大模型 MiMo-V3 将采用全新架构，其核心技术 HySparse 2 今日正式发布。面对智能体（Agentic）推理在实际应用中带来的严苛负载挑战，HySparse 2 在长上下文检索、预填充计算量以及 KV 缓存优化上取得了突破性进展。

为什么智能体推理需要全新架构？

在现有的 AI 应用场景中，智能体推理展现出了一种截然不同的工作负载特征：每一轮交互中，一个简单的动作可能会触发海量的长文本观察结果，同时上下文在交互过程中不断累积增长。

这种工作模式使得预填充成本、KV 缓存大小以及检索准确率同时处于系统性能的关键路径上。为了打破这一瓶颈，小米团队推出了 HySparse 2 架构，从根本上优化了模型的计算与存储效率。

HySparse 2 的核心技术突破

根据官方公布的数据，HySparse 2 在处理长文本时展现出了统治级的效率提升：

  • 极致的预填充优化：在 1M（100 万）Token 超长上下文长度下，预填充计算量（FLOPs）大幅降低至原来的 1/5.02。
  • 轻量化的内存占用：在同样 1M Token 长度下，KV 缓存大小显著缩小至原来的 1/4.5。
  • 更强的综合评测表现：HySparse 2 拥有更高的 MRCRv2 和 RULER-v2 评测评分，同时 AgentPPL 和 LongPPL 指标更低，长文本理解与检索能力更加出色。

创新设计：KV 桥接与重用机制

为了实现上述性能飞跃，HySparse 2 引入了多项关键技术创新：

  1. KV 桥接（KV Bridging）：遵循 YOCO 设计思路，交叉解码器（cross-decoder）中的全注意力层能够巧妙地利用自解码器（self-decoder）的隐藏状态来构建其 K/V。
  2. KV 重用（KV Reuse）：在每一个混合块内部，稀疏层可以直接复用前一层全注意力层的 KV 缓存和选择索引。
  3. 更高效的 Token 策略：采用 Token 级别的选择来替代传统的块（block）级别的选择，并用近期 Token 的强制窗口来替代独立的 SWA 分支，让本地和全局 Token 能够高效共享同一个 KV 缓存。

由于所有的交叉解码器 KV 缓存均来自自解码器，系统的预填充流程在自解码器完成时即可直接停止，从而大幅减少了不必要的计算开销。

持续演进的小米大模型矩阵

值得一提的是，就在该架构发布的前夕，小米刚刚开源了全新的 Xiaomi MiMo-V2.6 系列，包含 Pro 与 Flash 两个原生全模态模型。小米表示，这是其探索 RSI（递归自我改进）路径的关键一步，通过规模化扩展强化学习算力，持续拓展模型的智能边界。

随着 HySparse 2 的加入与 MiMo-V3 架构的演进，小米在长文本处理与高效能 AI 推理领域的的技术储备正加速转化为实际的产品竞争力，未来表现值得期待。