IT之家 11 月 18 日消息,商汤科技于 11 月 17 日晚正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对该模型的 Day 0 适配,打通了模型在 MLU 平台上的推理链路。
要点速览
- Day 0 适配完成:寒武纪基于 vllm_mlu 完成适配,覆盖 Loop 循环结构、MLU 算子适配及 mHC 路由优化三个方向。
- 极低显存需求:SenseNova Loop-9B 通过 Loop 结构复用参数,官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 以内。
- 兼容主流生态:采用静态展开方案,将循环计算转换为 56 个顺序执行层,复用 vLLM 标准调度和 KV cache 机制。
Loop 循环层展开:SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。寒武纪采用静态展开方案,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。
MLU 算子适配:针对 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现。多模态部分复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer,打通文本与图像输入场景下的推理链路。
mHC 路由性能优化:针对双流信息路由涉及的归一化及 Sinkhorn 迭代计算,寒武纪通过 TMO 融合接口实现归一化计算,并使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。
关键参数
| 项目 | 参数 |
|---|---|
| 模型名称 | SenseNova Loop-9B |
| 发布方 | 商汤科技 |
| 适配方 | 寒武纪 |
| 基础参数量 | 约 9B |
| 物理解码层数 | 32 层 |
| 扩展计算次数 | 56 次 |
| 4bit 量化权重 | 约 4.9GB |
| 部署显存需求 | 10GB 以内 |
| 推理框架 | vLLM (vllm_mlu) |
价格与上市
- SenseNova Loop-9B 模型:官方尚未公布具体授权价格,已面向开发者开放。
- 寒武纪适配版本:官方尚未公布具体的硬件套装价格,适配已随软件更新提供。
个人用户能用 10GB 显存跑复杂推理吗?
这对个人创作者和家庭工作室意味着,原本需要高端显卡才能运行的复杂推理任务,现在入门级 GPU(如 12GB 或更旧的 10GB 显存卡)也能胜任。SenseNova Loop-9B 通过循环结构在有限参数下扩展计算深度,特别适合 Agent、代码生成和数据分析任务。
对于拥有 NVIDIA、AMD 或 Intel 显卡的用户,vLLM 的广泛支持意味着无需更换硬件即可体验新型循环计算架构。虽然此次适配重点在寒武纪 MLU 平台,但其静态展开方案为其他硬件提供了参考。如果你受限于显存瓶颈,或希望降低本地私有化部署的门槛,这款模型是一个值得尝试的新选项。





