SenseNova Loop-9B正式版:让更少的参数走更深的计算路径

10min

商汤科技正式发布 SenseNova Loop-9B。该模型延续了 Preview 版本对参数效率的探索:通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。模型得益于 Loop 的高效循环结构,官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10 GB内,能显著拓宽可部署的硬件范围,让低显存芯片获得前沿 27B 级别模型性能成为可能。

Preview 发布以来,我们收到了社区对模型使用、推理部署和生态适配的关注与反馈。此次正式版沿用 Loop 与双流 mHC 架构,进一步优化模型在 Agent、代码与数据分析任务中的表现,并继续探索循环计算在模型能力提升中的作用。

SenseNova Loop-9B 总参数量约为 9B。模型通过两次执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算;支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。在 Agent 与数据分析评测中,模型展现出与 Qwen3.8-27B 相当的竞争力:NL2Repo 得分为 41.36,接近后者的 44.60;AIDABench 得分为 65.31,高于后者的 65.01。

模型亮点

  • 共享循环模块:将第 4–27 层组成共享权重的循环模块,并执行两次,使模型在一次前向传播中完成 56 次解码器层计算。

  • 双流 mHC:通过可学习映射,对循环模块中的两条残差流进行信息路由与融合。

  • 混合注意力:解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的配置。

  • 长上下文多模态:训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至 512K tokens。

  • 低资源私有化部署友好:采用 4bit 权重量化与 8bit KV 缓存时,256K 长上下文推理的显存需求约为 15 GiB,有助于降低本地与私有化部署门槛。

  • 官方量化版 Day 0 提供:模型发布首日同步提供官方AWQ 4bit 量化版本,方便用户快速部署。

SenseNova Loop-9B 已开放模型权重与相关代码,供开发者和研究者下载、部署与探索。

 

模型能力:正式版较 Preview 进一步提升

我们围绕通用 Agent、代码和数据分析等任务,对 SenseNova Loop-9B 正式版进行评测,并与 Preview 版本及Qwen3.8-27B 等模型进行比较。

评测结果显示,SenseNova Loop-9B 正式版在多个榜单上的表现较 Preview 版本有明显提升;并在约 9B 参数规模下,展现出与 Qwen3.8-27B 比肩的性能表现。

 

模型表现

以下是 SenseNova Loop-9B 正式版在动态海报、网站、3D 内容创作等实际场景中的表现。(注:下方 Showcase 均由本模型在 Codex / Hermes 中,经 1–4 轮用户交互完成。)

 

01 | 制作《失真频率 DISTORTION FM》音乐节动态海报网页

Prompt:制作《失真频率 DISTORTION FM》音乐节动态海报网页。巨大窄体标题占据画面,酸橙绿、黑、暖白三色;字体挤压、错位、重组,背景文字前移遮挡后揭示新章节。点击三个演出章节切换有节奏的全屏构图,提供循环及暂停。小字号中文演出信息清晰,虚构活动标注概念设计。参考 @url:https://tympanus.net/Development/KineticTypePageTransition/ 的文字转场概念,原创实现。

 

02 | 制作「字形接力 TYPE RELAY」的实验字体展交互网站

Prompt1:制作一个名为「字形接力 TYPE RELAY」的实验字体展交互网站。让文字本身成为页面切换的主角:用户在「形」「声」「意」三个展览章节之间切换时,巨大的汉字与英文字母通过有节奏的移动、尺度变化和重新编排,把上一章自然带入下一章,像一场连续的字体表演。每章有自己的内容、色彩和构图,既有鲜明的实验性,也保留清晰的阅读层级。请自行设计原创视觉语言、转场编排和交互细节,做出可在浏览器实际操作的完整网页。

Prompt2:请按下面这版详细要求继续制作《字形接力》,细化视觉与转场:

制作原创实验字体展网站「字形接力 TYPE RELAY」,包含「形、声、意」三个可切换章节。核心体验是一场由巨大文字驱动的整屏转场,具有先锋平面设计和动态字体短片的质感。

每个章节都要有完整且不同的构图:超大中英标题、简短展览文案、具有视觉张力的主图或原创图形,以及精简导航。用鲜明的字号对比、局部出界裁切、不对称布局和准确留白建立层次,具体配色与字体组合由你设计。

点击章节后的转场分三个阶段:

  1. 当前内容短促退场,章节关键词迅速放大,同一个词形成多行排印,逐渐铺满屏幕。
  2. 各行文字以错开的时序和不同方向掠过画面,形成有节奏的遮挡;背景色同步接管画面,在遮挡最充分时完成章节切换。
  3. 字阵继续运动并退出,新章节的主标题、主视觉和说明依次显露,最后稳定在清晰可读的版面。

转场约 1.5–2 秒,有明确的蓄势、加速和收束,避免匀速滑动。文字的运动轨迹、行距、尺度和前后层次要经过编排,既能感到强烈冲击,也能看出秩序。切换过程中保持画面连续,下一章不要突然闪现。

三个章节共享一套视觉语言,但分别体现结构、节奏和留白的差异。支持前后切换,连续点击时妥善处理动画状态,窗口尺寸变化后仍保持完整构图。直接制作可在浏览器操作的网页。

 

03 | 制作《海岸线以外》摄影杂志式HTML短篇网页

Prompt:制作《海岸线以外》摄影杂志式HTML短篇网页。米白与墨黑,巨大衬线字、克制中文说明、真正的高质量海岸照片。开场海景嵌在字缝中,滚动展开为全屏,再连续进入风、礁石、潮汐三个章节;图文之间有精确留白和滚动节奏。参考 tympanus.net/Development/ImageExpansionTypography 的图文展开关系。可用合法公开图片并保存本地、注明来源;不要用渐变色块冒充摄影。

 

04 | 设计「ORBIT」未来太空探索计划的交互式网站

Prompt:请为一个名为「ORBIT」的未来太空探索计划,设计并实现一个完整的交互式网站。

首先,创作一张原创动态 SVG 插画,作为整个网站的核心视觉资产。插画主体是一颗充满生机的未来星球:球面融合海洋、陆地、山脉和未来城市,一条倾斜的星环环绕星球,周围点缀小型卫星和星星。整体精致、有想象力和科技感,避免幼稚的卡通风格。以深蓝、青蓝和紫色为主,点缀少量珊瑚橙;背景透明,不添加文字。让卫星沿星环缓慢运行、星光轻微闪烁,动态自然克制。

然后,以这张 SVG 为视觉起点设计网站。请直接复用刚才生成的 SVG,而不是重新绘制一张相似的图,让它成为首屏的主视觉,并从中提取配色、星环、轨道等视觉元素,延伸到整个网站。

网站讲述人类探索这颗虚构星球的故事,包含以下内容:

首屏:以星球插画为中心,搭配标题「探索未知,从这里出发」、简短介绍和「开始探索」按钮。鼠标移动时,星球和背景产生轻微视差。

发现星球:介绍星球的环境、地貌和独特之处,通过精致的信息排版和图形表达呈现。

探索任务:展示三项不同的探索任务,每项包含名称、目标和状态,并有可点击查看的详细介绍。

加入计划:介绍用户可以如何参与,提供明确的行动按钮和完整的页面反馈。

导航栏支持跳转到各个区域,「开始探索」按钮可平滑滚动到正文。整体适配电脑和手机,动画流畅,文字真实完整,不要使用空泛的占位内容。

请实现为一个可以直接打开、浏览和交互的完整网站,同时保留 SVG 源文件。最终呈现时,既能单独查看这张 SVG,也能看到它在网站中的实际应用,让人直观感受到同一个视觉资产是如何融入完整作品的。

 

05 | 使用 Three.js 制作一个可旋转观察的精细 3D 立体沙盘

Prompt:使用 Three.js 制作一座藏在高山云隙中的仙家集市,呈现可旋转观察的精细立体沙盘。集市依山而建,以两段宽阔青石阶和中间休息平台作为主要动线,整体从前方低处逐级升向后方山壁。下层两侧分别安排药铺和茶食摊,上层安排修剑铺、收信棚及小仓房;四五间店铺高低错落,门面朝向石阶,屋后留出窄通道,并以一座短桥连接独立的小仓房。主路足够两人错身,摊位、货箱和檐柱不要堵住入口或台阶。街口另有一小块岩台,短短一段阶桥跨越云隙接入集市。桥两端落在实心石座上,有可见的梁或拱形支承和两侧绳栏;临崖货架用绳索固定到岩台木桩。房屋都坐在平整台基上,灰瓦屋顶有清楚的坡面、屋脊和檐口,深色木架、旧白墙及布棚保留适度磨损。药铺陈列药罐和草药束,茶摊有碗盏与蒸笼,修剑铺有剑架和小工作台,收信棚摆放信筒及包裹。以草药、茶碗和飞剑图案木牌区分店铺,竹篮、石灯和几株岩缝松树点缀街边。几只折纸载货鸟沿屋檐外侧缓慢飞行,翅膀轻摆,抵达上层收货棚后短暂停留并放下包裹,再沿另一条路线离开;运动避开屋顶、山壁和行走通道。云雾低低穿过桥下与岩台底部,保留石阶和支承的可见性。采用清晨柔和天光,檐下少量暖灯增加生活气息。默认斜俯视同时看清街口、两层店铺和后山,支持旋转与缩放。

 

模型结构

SenseNova Loop-9B 以 32 层多模态解码器为基础,将共享权重的循环计算、混合注意力和双流流形约束超连接(mHC)结合在一起。模型通过复用中间层参数扩展计算深度,支持文本与图像输入、文本输出,并支持最长 512K token 的上下文。

模型规格

项目

SenseNova-Loop-9B

架构

自回归多模态解码器;循环模块采用双流 mHC

参数规模

总共约 9B 参数,推理等效参数规模约 14.6B

输入 / 输出

文本和图像 / 文本

独立解码器层数

32

循环层范围 / 执行次数

[4, 28) / 2 次,共享权重

解码器层执行次数

每次前向传播执行 56 次

mHC 残差流数量

2

上下文长度

512K tokens

权重精度

主干为 BF16;mHC 路由参数为 FP32

循环解码器

输入首先经过第 0–3 层,随后依次通过同一组第 4–27 层两次,最后由第 28–31 层和输出头生成模型输出。若用 B 表示循环模块、h 表示其输入,则循环计算可写为 B(B(h))。

推理时,模型每次前向传播完成 56 次解码器层计算,只需存储 32 层解码器权重。循环模块在两次执行中复用同一组权重,第二次执行以第一次的输出作为输入。

混合注意力

解码器交替使用线性注意力层与全注意力层。每四层为一组,依次包含三层线性注意力和一层全注意力。循环模块的边界与完整的四层组对齐,因此两次执行都保持相同的注意力排列。

双流 mHC

在循环模块中,mHC 使用两条残差流传递解码器层计算前后的信息。可学习映射决定各层如何读取残差流、混合流间信息,以及将层输出写入残差状态。流间混合映射采用 Sinkhorn 归一化进行约束;模型配置使用 20 次迭代。

可以将两条残差流理解为并行传递的两组隐藏状态:每个循环层先从残差流读取信息,执行注意力或前馈计算,再把结果写回。流间混合矩阵通过反复进行行、列归一化,约束信息在两条流之间的混合;这 20 次归一化迭代属于 mHC 内部计算,与循环模块执行两遍是不同的步骤。

循环层范围、执行次数和 mHC 路由参数共同构成模型检查点的执行配置。兼容的推理实现需要加载这些参数,并保持相同的计算顺序。

配置

数值

独立解码器层数 / 执行次数

32 / 56

循环层范围 / 执行次数

[4, 28) / 2

隐藏层维度

4,096

前馈网络维度

12,288

词表大小

248,320

全注意力头数 / KV 头数

16 / 4

mHC 残差流数量 / Sinkhorn 迭代次数

2 / 20

 

Loop Scaling:探索循环计算的收益

Looped Transformer 展现出良好的性能扩展潜力,为模型能力提升提供了循环计算这一新的探索维度。以原版 9B 模型(即图中对应标准单次前向计算的 Loop 1)为基准,我们在保持训练数据等配置一致的条件下,探索了循环计算的 Scaling 效果。实验结果表明,随着训练与推理循环次数的同步增加,模型在四项核心任务上的表现均呈现出上升趋势。具体而言,AIDAbench-QA 和 Workbuddy-office 任务在 3 次循环时表现最佳,较 9B 基准分别提升了 6.42% 和 16.93%;而在 LiveCodeBench V6 和 AIDAbench-data_visualization 任务中,4 次循环则进一步推高了模型表现,分别实现了 8.10% 和 8.55% 的性能增长。

综合考虑实际应用中的推理效率,我们当前的 Preview 和正式版模型均默认采用 2 次循环。然而,深层循环所带来的性能增益依然客观存在。以代码生成(LiveCodeBench V6)和数据可视化(AIDAbench-data_visualization)这两项较为复杂的任务为例,若将循环次数从当前的 2 次增加至 4 次,模型得分仍能分别获得 1.04 和 1.35 个百分点的提升。这一结果印证了 Loop Scaling 的有效性,也表明当前的 1 到 4 次实验只是一个起点,更高循环深度所蕴含的能力空间仍值得进一步挖掘。

此外,上述实验结果也直观地反映出,不同类型任务对循环深度的需求存在显著差异。基于这一观察,在后续的研究中,我们不仅会继续探索更高循环深度的能力边界,还将重点研究动态循环(Dynamic Loop)架构。该架构旨在让模型能够根据输入任务的复杂程度,自适应地匹配最优的循环次数,从而在确保复杂任务获得充分算力的同时,兼顾整体的推理效率。

 

低显存硬件部署友好

得益于 Loop 的循环共享结构,模型仅需约 9B 独立参数,4bit 量化后权重体积仅约 4.9GB,显著降低本地与私有化部署的硬件需求门槛。结合 8 比特或 4 比特 kv 缓存,可进一步降低长上下文推理的显存需求,不同 kv 量化粒度下,模型部署最低显存需求如下表所示:

上下文长度

8bit kv

4bit kv

64K

约 10 GiB

约 9 GiB

128K

约 12 GiB

约 10 GiB

256K

约 15 GiB

约 12 GiB

 

当前不足与持续改进

尽管 Loop Transformer 架构已经展现出很大的潜力,但是受限于模型体量和迭代时间,SenseNova Loop-9B 在以下方面仍有改进空间:

  • 面对较多、较复杂的工具定义或多重条件约束时,模型仍可能出现理解与执行偏差,影响任务表现。

  • 代码能力虽较 Preview 明显提升,已具备较好的可用性,但在代码和通用 Agent 任务中表现稳定性还存在不足,但是模型可以通过更多步骤修正自己的错误。整体而言,处理复杂长程任务的能力还需要持续打磨。

  • 包含复杂 3D 场景和丰富动态元素的高质量网页,未必能单轮完成,部分案例需要结合用户反馈,经过 2–3 轮修复才能达到较好的效果。

我们将持续补强上述局限,并计划在未来把 Loop 架构应用于更大规模的模型,争取以更高频的模型更新回应真实使用中的需求,也欢迎社区分享使用反馈、问题案例与改进建议。

 

快速开始:使用SenseNova Loop-9B

模型权重与相关代码现已开放。开发者可通过 Hugging Face 模型仓库或本地模型目录加载模型。

Hugging Face 仓库:https://huggingface.co/collections/sensenova/sensenova-loop

下方示例展示了单张 GPU 上的文本生成,以及使用推理引擎启动服务的方法。

环境要求

Preview 版本已验证的环境为 Transformers 5.18.0、PyTorch 2.11.0 和 CUDA 13.0。模型目录需要包含配置、分词器、对话模板、自定义模型代码和全部权重分片。

请先安装与 CUDA 环境兼容的 PyTorch,再安装其余依赖:

python -m pip install "transformers==5.18.0" accelerate safetensors

使用 Transformers 生成文本

将 model_id 替换为正式版模型目录或模型仓库 ID,然后运行以下代码:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "/path/to/SenseNova-Loop-9B"
device = "cuda:0"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map={"": device},
).eval()

messages = [{"role": "user", "content": "13 乘以 7 等于多少?"}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True,
)
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=False,
        use_cache=True,
    )
response = tokenizer.decode(
    outputs[0, inputs.input_ids.shape[1]:],
    skip_special_tokens=True,
)
print(response)

示例默认开启思考模式,使用贪心解码,最多生成 512 个新 token。将 enable_thinking 设置为 False 可关闭思考模式;修改 device 可指定使用的 GPU。trust_remote_code=True 用于加载 SenseNova-Loop 的自定义模型实现。

模型部署

以下命令参考 Preview 的部署示例,使用时请将模型路径替换为正式版权重目录;正式版对应的引擎版本与配置随发布更新。

LightLLM

以下为使用四张 GPU 进行部署的示例:

docker pull ghcr.io/modeltc/lightllm:main

docker run --rm --gpus all --ipc=host -p 8000:8000 \
  -v /path/to/SenseNova-Loop-9B:/model \
  -e LOADWORKER=4 -e LIGHTLLM_TRITON_AUTOTUNE_LEVEL=1 \
  ghcr.io/modeltc/lightllm:main \
  python -m lightllm.server.api_server \
    --model_dir /model --model_name SenseNova-Loop-9B \
    --tp 4 --host 0.0.0.0 --port 8000

服务启动后,可通过 OpenAI 兼容接口发送请求:

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "SenseNova-Loop-9B", "messages": [{"role": "user", "content": "Hello!"}], "max_tokens": 128}'

SGLang

请使用包含 SenseNova Loop 实现的 SGLang PR #47281对应版本,并替换模型路径:

git clone https://github.com/sgl-project/sglang.git
cd sglang
git fetch origin pull/47281/head
git checkout -b sensenova-loop FETCH_HEAD
python -m pip install -e ./python

sglang serve --model-path /path/to/SenseNova-Loop-9B

vLLM

请使用包含 SenseNova Loop 实现的 vLLM PR #64832对应版本,并替换模型路径。该 PR 当前仅支持未量化的文本推理,不对应上文的 AWQ 4bit 低显存配置:

git clone https://github.com/vllm-project/vllm.git
cd vllm
git fetch origin pull/64832/head
git checkout -b sensenova-loop FETCH_HEAD
python -m pip install -e .

vllm serve /path/to/SenseNova-Loop-9B \
  --served-model-name sensenova_loop \
  --tensor-parallel-size 4 \
  --dtype bfloat16

 

模型权重和代码开源

Github:

https://github.com/OpenSenseNova/SenseNova-Loop

Hugging Face:

https://huggingface.co/collections/sensenova/sensenova-loop

 

SenseNova Loop-9B正式版:让更少的参数走更深的计算路径