这次开源的不是模型，是中间层
10 月 20 日，DeepSeek 宣布把内部用于大规模云服务的推理框架 DeepInfer 全面开源，同时开源生产级词元编解码组件 deepseek-recipe，两个仓库都放在 GitHub 上。
DeepSeek 在公告里给这件事定了性：模型的能力边界由模型本身划定，但要以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层，也就是推理框架。面对海量调用，推理框架负责统筹调度庞大的算力集群，它的效率直接决定 AI 服务的算力成本与电力消耗。
三个设计目标
按官方披露，V4.1 Flash 推理系统在设计之初确定了三个核心目标：兼容不同厂商的计算芯片；围绕常见硬件组织 Prefill 与 Decode；让 KV 缓存保留 72 小时以上以减少重复计算。
第三点尤其值得留意。把缓存窗口从一个会话拉长到三天，本质上是在赌用户与应用的上下文会反复命中同一段前文——命中越多，省下的预填充算力越多。这也是近年来行业里被反复验证的一条经验：推理成本的下降，很多时候不是靠更快的芯片，而是靠少算一遍。
部署形态：两类负载不再一视同仁
具体部署上，DeepSeek 用常见的 8 卡服务器承担 Prefill，用 64 至 128 卡的超节点承担 Decode。两者不再被当成同一种计算负载，而是分别按各自特点设计计算、通信与调度策略。
这个拆分对应的是两个阶段截然不同的瓶颈：Prefill 处理整段输入，算力密集；Decode 逐个词元生成，访存与通信密集。把它们塞进同一种机器形态，必然有一边在空转。分开之后，硬件采购与集群编排也能各取所需。
账本：两个数字和一个口径
技术报告里最抓眼球的是两组运营数字：基于这套系统运行的单一集群，服务吞吐达到每天 155 万亿词元；整体收入按谷价计算为每卡每小时 38 美元，按公开报道折算约合 253.8 元。
这里必须点明口径。DeepSeek 从今年 6 月起实行峰谷 API 定价，高峰时段调用价格直接翻倍，官方定义的高峰时段是每天上午 9 点至 12 点、下午 2 点至 6 点。也就是说，38 美元这个数字取的是价格较低的那一段，不能当作全天候平均值来读。有行业媒体据此外推单集群日收入约 2200 万美元、毛利率约八成，这是外部推算而非 DeepSeek 官方口径，本文仅作并列参考。
框架能力与交付边界
技术能力方面，DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 与结构化输出，并能在英伟达与华为昇腾平台上运行。deepseek-recipe 则负责在主流大模型 API 协议与模型词元之间做高效准确的转换，处理逻辑与 DeepSeek 官方 API 完整对齐，让第三方部署尽量获得与官方一致的 API 体验。
但边界也很清楚。官方仓库说明，本次发布提供离线推理及大规模服务所需的核心能力；要搭建完整的在线服务，开发者仍需自行补齐 KV 缓存系统、推理阶段分离部署与跨副本负载均衡等组件。DeepSeek 也明确表示，缓存管理与负载均衡组件因为与内部基础设施耦合较深，相关代码暂未完整开源。
谁能用，谁用不上
这次开源对普通用户几乎是透明的。技术博主宝玉提到，这个框架要跑在英伟达 Blackwell 一代的数据中心显卡（代号 SM100）或华为昇腾 950 上，官方测性能用了 4 到 64 张这样的卡，个人电脑跑不动，而且当前只支持 V4.1-Flash 一款模型。真正用得上的是想自己部署的企业和云服务商。
换句话说，DeepSeek 开源的是一套在超大规模下被验证过的工程方案，受益方是有能力组织几十张卡以上集群的团队，以及希望复用这套思路的国产芯片生态。对个人开发者，价值更多在于读懂设计取舍。
与既有动作的关系，以及该保留的怀疑
需要区分的是，DeepSeek 在 9 月底已经公开过面向昇腾平台的编程工具、计算库与通信库，华为团队参与了研发支持，另有报道称其计划在内蒙古的新数据中心部署至少 16 万张昇腾 950DT 芯片——后者属媒体转述，未经官方确认。那批东西解决的是「能不能在昇腾上跑」，这次的 DeepInfer 解决的是「大规模线上服务怎么跑才划算」，是两层问题。
至于怀疑的部分：吞吐、收入与缓存时长全部是 DeepSeek 自述，没有第三方核验；报告披露的是整体架构与关键实现方式，不是可直接复刻的完整线上系统；谷价口径会让单位收入看起来更保守，也会让按峰值估算的外推失准。真正的检验要等外部团队在自己的集群上跑出可比数据。
即便如此，把推理成本账本公开这件事本身仍有价值。过去行业里流通的推理经济性数字多数来自云厂商的定价表，成本和收入的对应关系始终是个黑箱；现在有一家把单卡单位时间收入摆到台面上，至少给了同业一个可对照的锚点。