不堆参数,用循环把有效深度做厚

2026 年 10 月 30 日,商汤宣布开源日日新 SenseNova Loop-9B-Preview,这是商汤面向下一代模型架构的一项前沿探索。它采用创新的 Looped Transformer 架构,引入循环计算、扩展模型的有效计算深度,并探索更充分的信息交互机制,在仅 9B 的有限参数规模下,逼近 27B 参数大小模型的表现。

SenseNova Loop-9B:32 层权重循环出约 56 次计算 循环解码器结构 入口层 0-3(独立) 循环模块 层 4-27(24 层共享) ×2 遍 出口层 28-31 + 输出头 关键数字 · 参数约 9B · 推理等效约 14.6B · 前向约 56 次层计算 · 上下文 256K token · Apache 2.0 许可 mHC 机制 双流残差 可学习映射 Sinkhorn 归一 GPQA +4.42 TeamBench +13.34 基准表现(商汤披露,超过 Qwen3.5-27B) WorkBuddy Bench 66.89 AutomationBench 超 27B 级 BIRD-Dev 71.38 Terminal-Bench 40.45
Loop-9B 不靠堆参数,而是把同一组循环层反复执行、用时间换深度;mHC 则在循环里维持信号稳定,让 9B 尺度拿到接近 27B 的表现。

32 层权重,跑出约 56 次计算

Loop-9B 以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。具体而言,中间 24 层作为共享循环模块、权重执行两遍,写成 B(B(h)) 的形式;一次前向大约完成 56 次层计算,却只需存 32 层权重——用时间换深度,而不是把参数原样再拷一份。推理时实际等效约 14.6B,训练序列最长约 262144 token,支持文本与图像输入、文本输出,主打长上下文与智能体工作流。

mHC:在循环里维持信号稳定

商汤进一步探索循环计算中的信息传递机制,引入 mHC(Manifold-Constrained Hyper-Connections,流形约束超连接)。它用两条残差流传递层前后信息,借助可学习映射负责读写与流间融合,流间混合映射用 Sinkhorn 归一化约束,增强特征交互并维持信号传播的稳定性。消融实验显示,采用 mHC 后,GPQA Diamond 提升 4.42 分、TeamBench 提升 13.34 分,展现出在复杂推理与多步骤 Agent 任务上的潜力。

基准表现:在多个方向超过 27B 级

在当前评测设置下,模型在代码生成、办公场景和智能体任务等多个方向上均优于同档模型,并在 WorkBuddy Bench(66.89)、AutomationBench、RaccoonPPT Bench 等评测中超过 Qwen3.5-27B;BIRD-Dev 71.38、Terminal-Bench 2.1 40.45%。官方强调,这些结果初步展现了通过扩展有效计算深度提升小参数模型复杂任务处理能力的潜力。模型采用 Apache 2.0 许可,权重已上线 Hugging Face 与 GitHub,加载需 trust_remote_code 以带上自定义循环实现。

为什么重要:循环架构从论文走进可用模型

近期循环计算正成为大模型架构研究的重点方向,但此前的探索多停留在学术研究层面,社区缺乏可直接面向日常使用的 Looped Transformer 模型。Loop-9B 补上了这块空白:它证明在算力受限的背景下,「以计算时间换参数规模」的循环架构,能为小模型性能天花板提供一条新路径,也让 27B 级能力跑进端侧成为可能。后续商汤还将继续探索 DSA、自适应迭代次数等机制。社区实测能否复现官方成绩,是下一个观察点——毕竟 27B 级是商汤口径,而非第三方统一刷榜结论。

信息来源