六项榜单登顶,同一主干通吃多任务
10 月 29 日,华为云行业大模型与小巧灵突击队发布视觉基础大模型,在目标检测、实例分割、关键点估计、语义分割、图像分类、旋转目标检测六项视觉感知任务上登顶,超越众多国际研究机构的前沿模型。所有结果均为纯视觉、单尺度推理、无测试时增强(TTA),且所有任务共享同一个增强主干,仅需更换任务特定的解码器即可。
对应论文 SAGE(Saliency-Annealed Gated Encoder,arXiv 2610.36719)披露的硬指标显示:COCO 框 AP 62.8、掩膜 AP 55.3;COCO 关键点估计 78.5 AP;ADE20K 语义分割 60.3 mIoU、实例分割 44.9 mask AP;TinyImageNet 分类 94.76% Top-1;DIOR-R 旋转目标检测 78.8 AP50。这六个任务、七个数据集上的全面超越,验证了其在多任务、多场景下的通用能力。
三项创新:从结构、训练范式到训练策略
SAGE 的核心思路,是不再把自监督 ViT 当作被动的特征提取器,而是主动利用其已编码的先验。围绕这一思路,团队给出三项互补创新。其一,显著性引导的增强型 ViT-Adapter:显式提取 DINO 风格显著性,驱动残差软门控、寄存器标记 FiLM 调制与拉普拉斯高频增强,并引入动态多层聚合与局部细节分支。其二,退火式训练范式:增强模块在训练中发挥作用,推理时平滑退化为恒等映射,部署模型与基线一致,不增加任何部署开销。其三,两阶段质量感知训练:在单次训练内实现从 Focal Loss 到 Varifocal Loss 的平滑切换,缓解质量感知分类损失的冷启动问题。
这三项创新恰好对应现有方法普遍忽视的三大信息源:自监督 ViT 在 CLS 标记中编码的显著性、寄存器标记吸收的全局上下文、不同深度层编码的抽象层级;以及 ViT 16×16 块化等价低通滤波所不可逆丢失的高频边缘。SAGE 把显著性、高频边缘、全局上下文这三类先验,从被动编码转化为主动增强,构成完整的特征增强体系。
退火训练:训练时增强、推理时消失
最值得单独说的一点是退火训练范式。传统做法里,为了提升特征质量而加入的增强模块,往往会把额外计算拖进推理阶段,导致部署成本上升。SAGE 让增强模块只在训练时生效,推理时退化为恒等映射——也就是说,线上跑的模型与不加增强的基线结构完全一致,但训练过程已经把增强带来的表征收益「烘焙」进了权重里。这一设计让方法在工程上可落地:不牺牲推理效率,却拿到了训练期的质量红利。
这也解释了为什么论文能强调「零部署开销」。对工业质检、安全生产、医疗影像、具身智能、遥感解译、自动驾驶等需要把视觉模型塞进固定算力与延迟预算的场景而言,训练增强、推理无感的范式具备直接的实用价值,而非只在基准上好看。
为什么重要:视觉底座与国产软硬协同
视觉基础模型是 AI 赋能工业与行业场景的关键技术底座,也是当下 AI 基础研究的的核心赛道之一。华为云这次把多任务 SOTA 与国产昇腾 NPU 绑定,论文称 SAGE 也是在华为昇腾 NPU 上取得多任务 SOTA 结果的框架,体现了软硬协同的取向:模型结构为国产硬件量身优化,反过来国产硬件也为模型提供落地载体。
从产业侧看,华为云已把该视觉基础大模型用于油气安全生产(5 大类 40 个子场景、37 个作业区、万路视频的违章秒级预警)、矿山、铁路、交通、政务等现场,覆盖设备状态监测、作业行为管控、重点区域安防。团队还以内部 RSI 平台把「数据合成—自动评测—自我评判—自适应训练」的迭代闭环开放给客户,把交付模式从「交付模型」推向「交付持续进化的能力」。作为视觉感知基础大模型领域的一次系统性突破,其方法创新与落地路径都值得持续跟踪;后续在视频理解、多模态视觉融合等方向的表现,将是观察其上限的下一个窗口。