11 月 17 日,蚂蚁技术研究院与西湖心辰联合发布 Duo v1,即双向世界模型(Reciprocal World Model,RWM)的一项实现,技术报告、训练代码与模型权重同步开源。传统世界模型只模拟光影、材质与动态,用户通过键鼠或文本在外部下指令,场景可被观测却无法主动回应。RWM 让虚拟主体与世界共享同一交互时空,持续接收用户的音视频输入,自主决定何时开口、何时倾听。
Duo v1 由 Intent 与 Realization 两个耦合模块构成。Intent 是决策系统,在每个约 0.7 秒的时间块内,基于用户输入与交互历史自主选择开口或等待,并生成对应语言内容,以其隐状态而非解码文本指导另一模块。Realization 基于隐状态、用户输入和自身生成历史联合生成音视频,通过模块特定的注意力掩码建立严格因果依赖,任何模块都不能访问未来输入。
训练分三个阶段:先训练 Intent 做文本预测与参与决策,用动作感知重平衡解决过度等待;再冻结 Intent 训练 Realization 的因果联合视听生成;最后用分布匹配蒸馏把模型压缩为 4 步生成器。团队还用 Dual Rollout 让模型在自身合成的历史数据上训练,以对齐推理时的真实分布。在 60 秒连续生成测试中,基线方法的亮度值从 103.8 降至 69.6,Duo v1 稳定在约 99。
在 30 组真实全双工交互的 180 项人类检查中,官方称 Duo v1 通过 168 项,占 93.3%;语言遵循性、语音可懂度与视觉身份稳定性均为 100%,视听情感一致性 96.7%,视听同步 90%,内容响应度 73.3%,为所列指标中较低的一项。官方把内容响应度列为下一版重点改进方向。
双向架构的算力开销与实时性边界尚未披露,长程一致性也有提升空间。技术报告与模型权重已公开,但效果数据均为厂商自述,未经同行评议,也尚无第三方复现。