百度把文心 5.5 Flash Base 开源了
11 月 5 日，百度正式开源文心 5.5 Flash Base 大模型。这是文心系列面向开发者开放权重与代码的基座版本，采用 2800 亿（280B）总参数、140 亿（14B）激活参数的混合专家（MoE）架构，使用 33.5T token 完成预训练，上下文长度由预训练阶段的 12.8 万（128K）扩展到 100 万（1M）。模型权重以 ERNIE 5.5 Flash Base Model License v1.0 开放，提供 FP8 与 BF16 两种格式，已上线 Hugging Face（baidu/ERNIE-5.5-Flash-Base），并可在 vLLM、SGLang 等主流推理引擎中加载。
把规格拆开看，文心 5.5 Flash Base 的体量属于当前国产开源大模型里靠前的一档。2800 亿总参数、140 亿激活的 MoE 配置，意味着单次前向计算只激活约 5% 的参数，在保持大模型容量的同时压低推理开销；33.5T token 的预训练规模，与近期头部开源模型的训练量处在同一数量级。100 万长度的上下文，使其能直接处理整本书、长代码库或大规模文档集合，而无需切分拼接。
注意力与解码结构上的几项改动
在注意力与解码结构上，百度对几处做了改动。其采用 Latent-Gated Sparse Attention，结合 HCA（Hybrid Context Attention）与 MLA（Multi-head Latent Attention）的思路，对长序列做稀疏化处理；Multi-Router Latent MoE 在专家路由上引入隐空间多路由，缓解负载不均；Virtual Head Attention（VHA）则通过调整注意力头的结构来降低计算量。此外，低秩门控注意力把门控相关参数量削减约 75%，ECHO 机制复用最后一层做推测解码，提升生成吞吐。
这些改动的逻辑是统一的：在更大的参数规模与更长的上下文之下，把计算量压在可控区间，使基座模型既能承载复杂任务，又在工程部署时保持可接受的延迟与成本。MoE 的稀疏激活、稀疏注意力与推测解码，是近期大模型在容量与效率之间找平衡点的常见路径，百度在此之上叠加了若干自研结构。
开放方式：权重、许可与推理引擎
开放方式上，百度这次把权重与推理所需组件一并放出。模型权重遵循 ERNIE 5.5 Flash Base Model License v1.0，对 FP8、BF16 两种精度同时提供，方便不同硬件与部署场景取用；Hugging Face 上的仓库已包含基础权重与必要的配置。对工程侧而言，vLLM、SGLang 等引擎的支持意味着可以在既有推理栈上直接接入，不必等待厂商专属工具链。
需要说明，部分架构细节（如 VHA 对应的论文）在二手报道中被描述为 NeurIPS 2026 相关成果，但本稿不对具体会议收录状态作断言；关于参数规模、训练量、上下文长度与许可条款，以百度官方发布页与 Hugging Face 仓库为准。
为什么开源一个 Flash 版基座
从产品定位看，Flash 系列主打高吞吐、低延迟，更适合作为企业级应用的底层模型对外供给；把基座权重开放，有助于开发者在自有数据与场景上做微调与二次开发，也便于学术与产业界对模型能力做独立评测。对百度而言，开源是延续文心生态、扩大开发者基数的一步，同时也把训练与推理的工程实践摊开接受检验。
看待这次开源，既要看到国产大模型在权重开放上的持续推进，也要留意开源基座与托管服务之间的分工：权重开放降低了接入门槛，但大规模稳定推理仍依赖工程化部署与算力供给。模型能力是否经得起独立复现，需要时间与实际工作负载来回答。