从「发论文」到「给配置」:世界模型这回把门槛写明白
10 月下旬,腾讯混元团队把交互式视频世界模型 Hy-Nomas 的权重、训练与评测代码一并开源。技术报告于 10 月 27 日提交到 arXiv(编号 2610.36729),GitHub 仓库 Tencent-Hunyuan/Hy-Nomas 的初始提交在 10 月 21 日,随后几天陆续补上 Diffusers 推理示例、社区适配与技术报告。截至 10 月底,仓库已给出权重、推理、交互 Demo 与数据标注四块代码,以及一份 280 个用例的评测基准 Hy-Nomas-Bench。
交互式世界模型过去大多止步于论文或在线 Demo,这次把「一张消费级显卡能跑到什么程度」写成了可核对的配置与显存读数。技术报告里有一行不起眼的数字:在 1280×704、24 FPS 下生成一段约 100 秒、切成若干片段的视频,单张 RTX 4090 的峰值显存约 20.5 GiB。对开发者来说,这意味着不必再等云算力,就能在本地把世界模型跑起来、改起来。
8B 扩散基座 + 分段自回归:它怎么做到「可驾驶」
Hy-Nomas 的基座是一个约 8B 参数的扩散模型,文本侧用 Qwen2.5-VL-7B 这类视觉语言模型做编码,而不是普通文本编码器。它的核心机制是分段自回归生成:模型先生成一小段视频潜变量,再把这段的注意力键值追加进一个持久、不断增长的 KV 缓存作为历史;下一轮用户发出新指令(改场景、转镜头、加物体)时,模型在关注当前输入的同时,也关注此前生成的一切,从而让世界在多次交互中保持一致性——前一片段里出现的物体,下一片段还在。
相机控制也不是靠文字「猜」出来的。Hy-Nomas 直接接收显式的相机到世界矩阵(外参 [N,4,4] 与内参 [N,3,3])作为独立条件信号,按每四帧分组、压成 64 维向量,通过交叉注意力喂进每个双流模块。文本描述场景里有什么,相机矩阵精确描述镜头怎么动,两条信号分工清晰。
单张 4090 跑得动,靠四项取舍换来
官方给出的 single_gpu_low_mem_inference 配置,把单卡 4090 的实现拆成四个动作:权重与历史 KV 缓存以 INT8 存储、计算时反量化到 BF16;滑动窗口注意力给 GPU 上保留的历史设上限,避免 KV 缓存随生成轮次无限增长;阶段之间做 CPU 卸载,去噪时把 VAE 卸到内存、文本编码器按需加载;序列并行关掉,去噪走 FlexAttention、解码走 CUTLASS FP8。配合 4–8 步蒸馏去噪环,单卡就能驱动一段可交互的世界。
代价官方也写在同一段里:卸载换来的是 CPU 与 GPU 之间的传输延迟,峰值显存还随分辨率与片段长度变化;量化与稀疏化可能引入细微差异,并在连续片段的自回归生成中逐渐明显。换句话说,它把「能跑」的门槛压到消费级硬件,但质量上限仍由完整配置决定。
开源包里有什么:权重、代码、基准、LoRA
权重分三档:非蒸馏的 base_ar(FP32)供 LoRA 微调起步,蒸馏版(FP32)用于 4、6、8 步推理与在线 Demo,量化蒸馏版(INT8)面向低显存与单卡部署;VAE 部分给了编码器、微调过的解码器与 FP8 量化解码器。此外还有 Nomas-PE,一个把用户指令转成结构化生成条件的提示增强模型,在线 Demo 依赖它。代码侧开放了训练、推理、交互 Demo 与数据标注四块,标注工具能把本地视频切成片段、编码成 Arrow 或 Parquet 供监督微调使用。没有放出来的是训练数据本身。
LoRA 适配器有两支,一支走电影风格数据,一支基于真实机械臂数据集训练,用来增强生成世界里的机器人仿真能力。这一支机器人 LoRA 透露出腾讯的意图:Hy-Nomas 不只是视频生成玩具,而是被当作物理 AI 的合成训练环境来构建。
和 Genie 4 同台:赢在哪、输在哪
Hy-Nomas-Bench 含 280 个用例,分多轮文本交互、相机导航、文本与相机交错控制、空间记忆四组,由经过校准的标注者做成对比较。官方给出的胜率里,多轮文本交互的指令遵循对 HappyOyster-Directing 为 65.0%、对 LingBot-World v2 为 75.0%;文本与相机交错控制的指令遵循 75.0%、相机控制这一维仅 26.7% 胜、68.3% 平。空间记忆是明确落后的一项:对 Genie 3 仅 13.3% 胜、56.7% 平、30.0% 负,报告把这一差距部分归因于 Genie 3 接入了 Street View 数据接地。
需要冷静看的地方有两处:其一,报告里的「超越现有世界模型」是团队自述口径,目前尚无独立第三方基准交叉验证;其二,「支持与 Genie 4 完全相同的功能」同样是作者声称。即使把这两句打折,这套开源包的完整度在同类里仍属罕见——权重、基准、LoRA 微调路径、从本地视频准备训练数据的标注工作流,可复现研究所需要的大部分东西已经进了仓库。
为什么值得关注:世界模型从 Demo 走向可复现
封闭阵营忙着放 Demo 集锦,开源一侧的回答是「你可以自己跑」。当 Hy-Nomas 把单卡推理配置与评测基准一起公开,不同世界模型头一回能在同一张表里读胜负,研究不再被演示片段牵着走。社区响应也很快:训练与推理代码、权重与在线 Demo 在 10 月 21 日落地,Diffusers 示例 23 日、WanGP 支持 25 日、SGLang 与 ComfyUI 集成 26 日陆续出现,arXiv 报告 27 日挂出;还有开发者在 Google TPU 上测出 720p 实时生成。
对国内开源阵营来说,这是继 MiMo 全模态、商汤 Code2Video 之后,又一例把「权重加代码加基准」整套交出来的尝试。世界模型能不能从演示走向生产,取决于有多少人真拿它做实验——而 Hy-Nomas 先把门打开了。