- Advertisement -SMAPACE 50MM MODULAR SYSTEMSMAPACE 50MM MODULAR SYSTEM
AI寒武纪适配商汤Loop-9...

寒武纪适配商汤Loop-9B:10GB显存即可本地运行

IT之家 11 月 18 日消息,商汤科技于 11 月 17 日晚正式发布 SenseNova Loop-9B 模型。寒武纪官方宣布,已完成对该模型的 Day 0 适配,打通了模型在 MLU 平台上的推理链路。

要点速览

  • Day 0 适配完成:寒武纪基于 vllm_mlu 完成适配,覆盖 Loop 循环结构、MLU 算子适配及 mHC 路由优化三个方向。
  • 极低显存需求:SenseNova Loop-9B 通过 Loop 结构复用参数,官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10GB 以内。
  • 兼容主流生态:采用静态展开方案,将循环计算转换为 56 个顺序执行层,复用 vLLM 标准调度和 KV cache 机制。

Loop 循环层展开:SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。寒武纪采用静态展开方案,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。

MLU 算子适配:针对 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现。多模态部分复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer,打通文本与图像输入场景下的推理链路。

mHC 路由性能优化:针对双流信息路由涉及的归一化及 Sinkhorn 迭代计算,寒武纪通过 TMO 融合接口实现归一化计算,并使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。

关键参数

项目参数
模型名称SenseNova Loop-9B
发布方商汤科技
适配方寒武纪
基础参数量约 9B
物理解码层数32 层
扩展计算次数56 次
4bit 量化权重约 4.9GB
部署显存需求10GB 以内
推理框架vLLM (vllm_mlu)

价格与上市

  • SenseNova Loop-9B 模型:官方尚未公布具体授权价格,已面向开发者开放。
  • 寒武纪适配版本:官方尚未公布具体的硬件套装价格,适配已随软件更新提供。
RANSEA VIEW

个人用户能用 10GB 显存跑复杂推理吗?

这对个人创作者和家庭工作室意味着,原本需要高端显卡才能运行的复杂推理任务,现在入门级 GPU(如 12GB 或更旧的 10GB 显存卡)也能胜任。SenseNova Loop-9B 通过循环结构在有限参数下扩展计算深度,特别适合 Agent、代码生成和数据分析任务。

对于拥有 NVIDIA、AMD 或 Intel 显卡的用户,vLLM 的广泛支持意味着无需更换硬件即可体验新型循环计算架构。虽然此次适配重点在寒武纪 MLU 平台,但其静态展开方案为其他硬件提供了参考。如果你受限于显存瓶颈,或希望降低本地私有化部署的门槛,这款模型是一个值得尝试的新选项。

参考来源

留下一个答复

请输入你的评论!
请在这里输入你的名字

订阅周报

每周日一封,免费

一周新品与价格变化

值得买、值得等,还是可以跳过

本周深度稿与实测

往期周报可以在「周报」栏目查看。

Exclusive content

- Advertisement -Work with Ransea:新品送测、品牌合作与广告投放

Latest article

More article

- Advertisement -订阅 Ransea 周报订阅 Ransea 周报