四个数字与三种分母:这场演讲到底给了什么
先把信息的来源与形态说清楚。David Abitbol 是 Revolut 的运维与基础设施负责人,2026 年 10 月 13 日在纽约 AI Engineer 大会讲了 15 分钟,题目是《像创业公司一样交付,像银行一样受监管》。The Register 在 11 月 3 日报道后,多家媒体转述,随后又出现了若干独立核算,其中 LATENT 在 11 月 4 日按当日价目表重算了一遍。也就是说,我们看到的不是一份工程白皮书,而是一场演讲加若干二手核算,所有数字都应带上这个前提。
| 数字 | 说法 | 分母 | 性质 |
|---|---|---|---|
| 约 90% | AI 编程成本下降 | 迁移后的月账单对迁移前的月账单 | 账单之比,非单价之比 |
| 约 60% | 编码时间缩短 | 工程师自述的工作时间 | 公司自述,无对照组 |
| 约 70% | 交付周期缩短 | 从接需求到合并的时间 | 公司自述,无对照组 |
| 约 0.30 美元 | 每百万 token 混合成本 | 输入与输出同价、缓存免费 | 服务侧单价,可核对 |
四种数字里,只有第四种可以拿去与价目表直接比较。前三种都要先问分母:账单比要看迁移前的账单基数,时间比要看有没有同期对照组。演讲没有给对照组,也没有给迁移前后的 token 总量,所以 60% 与 70% 只能当方向性信号。
这也是本文的写法:先把能算的算出来,再把不能算的明确标出来。能算的是单位成本、延迟、吞吐、盈亏平衡点;不能算的是「模型本身带来了多少效率提升」,因为配额同时被放开了。
迁移前:从 Gemini 到 Claude Code,配额的反作用
迁移前的路径是两步。2025 年 1 月引入 Gemini,用于查资料与读文档;2025 年 2 月开始试用 Claude Code,2026 年 1 月做规模推广。这里有一处转述差异:部分报道写成「2026 年初引入 Claude Code」,而按演讲时间线,试用在 2025 年 2 月、规模推广在 2026 年 1 月。引用时应写清是试用还是推广。
规模推广后出现了一个典型的配额反作用。Abitbol 的说法是,看到有工程师每月花 1,000 到 10,000 美元而回报不明显,于是上线时设了严格的 token 预算。结果工程师开始省着用:把额度留给复杂的代码生成,调试、Jira 工单、Confluence 文档这些「AI 本来能帮上忙」的活反而不敢用。
| 阶段 | 时间 | 动作 | 暴露的问题 |
|---|---|---|---|
| 阶段一 | 2025 年 1 月 | 引入 Gemini 做资料检索与文档阅读 | 只覆盖查询,不覆盖执行 |
| 阶段二 | 2025 年 2 月试用、2026 年 1 月规模推广 | Claude Code 成为主力编程工具 | 账单不可预测,单工程师月支出 1,000 至 10,000 美元 |
| 阶段三 | 规模推广同时 | 设置严格 token 预算 | 工程师节省额度,低价值高频率任务被放弃 |
| 阶段四 | 2026 年 4 月 | 自托管 GLM-5.1 起步 | 需要自己解决延迟、吞吐与显存 |
| 阶段五 | 2026 年下半年 | 升级 GLM-5.3,取消额度焦虑 | 单位成本与服务稳定性成为新约束 |
第三行是这次迁移真正的起点。限制用量会把需求推到「只在难任务上用」,而难任务恰恰是失败率较高、重试次数较多的那类,单位成本反而更高;同时大量高频低难任务被排除在外,AI 的覆盖面被压窄。这个反向选择效应在任何按量计费的工具上都存在,值得单独记一笔。
自建栈:56 张 B200 与 7540 亿参数的分片
硬件侧的数字比较确定:56 张 NVIDIA B200,等于 7 台八卡 DGX;模型是 GLM-5.3,约 7,540 亿总参数、每 token 激活约 400 亿,权重需要约 380 GB 显存;每个用户的上下文另占 6 至 26 GB。按 2,000 名工程师算,平均每台 DGX 对应约 286 人。
| 项目 | 读数 | 来源性质 | 备注 |
|---|---|---|---|
| GPU 数量 | 56 张 B200 | 演讲 | 等于 7 台八卡 DGX |
| 总参数 | 约 7,540 亿 | The Register 对 GLM-5.1 的说明 | Abitbol 口述为约 8,000 亿,两个说法并存 |
| 每 token 激活参数 | 约 400 亿 | 演讲与报道 | 混合专家结构 |
| 权重显存 | 约 380 GB | The Register | 按 8 路张量并行折算约 47.5 GB/卡 |
| 单用户上下文档位 | 6 至 26 GB | 演讲 | 随上下文长度变化 |
| 服务人数 | 约 2,000 名工程师 | 演讲 | 平均每台 DGX 约 286 人 |
第二行需要标注:7,540 亿是 The Register 对 GLM-5.1 的参数说明,Abitbol 在演讲里说的是「约 8,000 亿」。两者相差约 6%,对容量规划的影响不大,但引用时应写清是哪个版本、哪个来源。这类「同一模型两个参数量」在 MoE 模型上很常见,因为总参数与激活参数、不同量化版本、不同上下文长度都会被混着说。
还有一处需要澄清:「自托管」在这里指的是独占 GPU 跑自己控制的权重。演讲幻灯片上出现「with Together」字样,指的是 Together 的专属推理服务;演讲没有说明 Revolut 是自购还是租用 GPU,也没有说机房位置。这个区别对成本核算影响很大——自购是资本开支加折旧,租用是运营开支,两者的盈亏平衡点不同。
调优清单:量化、并行、缓存、预填充与解码分离
这场演讲真正可复用的部分在调优,而不在采购。Abitbol 的说法是,同样的 56 张卡,改善主要来自服务参数调整而不是加硬件,他给团队的建议是「先顶住加卡的冲动」。清单有四条,每条都对应一个具体的资源约束。
| 手段 | 做法 | 声明的收益 | 代价或边界 |
|---|---|---|---|
| NVFP4 量化 | 在 Blackwell 上用 4 位浮点权重 | 显存占用比 FP8 约少 40%(口述估计) | 精度影响需按任务验证;演讲中 FP4 与 FP8 的说法有混用 |
| 张量并行 | 8 路并行把 7,540 亿参数摊到单机 8 卡 | 权重每卡约 47.5 GB,留出 KV 缓存空间 | 并行度越高,通信开销越大;有转述称 TP4 会挤压 KV 缓存 |
| 上下文硬上限 | 把可服务的 100 万 token 限到 256K | KV 缓存可控,延迟可预测 | 超长任务需拆分;Abitbol 的原话是「长上下文是个骗局」 |
| 缓存命中率 | 对重复的编码上下文做前缀缓存 | 命中率 90% 以上 | 依赖请求的重复度,编码场景天然占优 |
| 预填充与解码分离 | 把读提示与生成拆到不同 GPU 池 | 同硬件请求速率约从 3 升到 7 | 需要调度层支持,故障面变多 |
四条里最容易被忽略的是第三条。把 100 万 token 的能力限到 256K,看起来是浪费能力,实际是把不确定性换成了可预测性:KV 缓存随上下文线性增长,一旦允许长尾请求,尾延迟就会失控。Abitbol 给的服务目标很直白——首字 3 秒以内,超过 5 秒他的沟通软件就会爆掉。
第二条的收益可以自己算一遍。380 GB 权重按 8 路并行摊开,每卡约 47.5 GB;如果降到 4 路并行,每卡要约 95 GB,剩下的显存才给 KV 缓存。单用户上下文占 6 至 26 GB,意味着 4 路并行时并发能力会被压得很低。这解释了为什么选择 8 路,而不是更省的 4 路。
延迟曲线:14.26 秒到 1.68 秒,需求同时涨 76%
延迟这条曲线是演讲里信息量较高的部分,因为它同时给了起点、终点与期间的需求变化。4 月迁移中期,首字延迟 14.26 秒;8 月降到 1.68 秒;同期请求量增长 76%。硬件始终是那 56 张卡。
| 指标 | 迁移中期(4 月) | 稳定期(8 月) | 变化 |
|---|---|---|---|
| 首字延迟 | 14.26 秒 | 1.68 秒 | 下降约 88.2% |
| 请求速率 | 约 3 次每秒 | 超过 7 次每秒 | 提升约 133% |
| 请求量 | 基准 | 增长 76% | 需求侧变化 |
| 单用户生成速度 | 未给 | 约 200 token 每秒 | 非工作时段可达约 800 |
| 服务目标 | 未给 | 首字 3 秒内,超过 5 秒即投诉 | 运营红线 |
| 改善归因 | 不适用 | 约八成来自服务参数调整 | Abitbol 自述 |
第三列有两个数字需要对照着读。请求速率从 3 到 7 是提升约 133%,而部分转述写成「提升约 88%」。88% 更接近首字延迟的下降幅度(88.2%),两者被混淆的可能性较大。引用时建议直接写原始读数「从约 3 次每秒到超过 7 次每秒」,不要用二手百分比。
另一个容易被忽略的点是需求增长与延迟下降同时发生。这比「延迟下降」更难:通常请求量涨 76% 会把延迟推高,这里反而降了一个数量级,说明容量并未被需求吃掉,改善来自效率而非余量。这也是「先调优再加卡」这个建议的经验基础。
不过要留一个反例:这套调优高度依赖请求的同质性。编码请求的上下文重复度高,前缀缓存才有 90% 以上的命中率;换成客服或研究类请求,重复度会低很多,同样四条手段未必能复制这条曲线。
90%、60%、70%:三个百分比各自的分母
三个百分比常被并列引用,仿佛它们度量同一件事。实际不是。90% 是账单之比,60% 与 70% 是工程指标的自述变化,三者的分母、时间窗、对照方式都不同。
| 指标 | 分子 | 分母 | 对照 | 可核验性 |
|---|---|---|---|---|
| 成本降约 90% | 迁移后月账单 | 迁移前月账单 | 同一批工程师 | 中:账单基数未披露,可反推区间 |
| 编码时间降约 60% | 自述编码耗时 | 迁移前耗时 | 无同期对照组 | 低:公司自述 |
| 交付周期降约 70% | 自述接需求到合并时长 | 迁移前时长 | 无同期对照组 | 低:公司自述 |
| 单价 0.30 美元 | 混合 token 成本 | 每百万 token | 可与价目表比 | 高:服务侧口径清楚 |
成本这一项可以反推。按 LATENT 的估算,56 张 B200 若自购,月成本约 13 万美元;按三年预留租用,约 17 万美元。用 90% 这个比例反推,迁移前的月账单约 130 万至 167 万美元,除以 2,000 名工程师,人均约 650 至 835 美元。
90% 比的是两张账单,不是两个价目表。按今日单价与同等 token 结构,商用 Sonnet 级约 0.33 美元每百万 token,与 0.30 美元只差 10% 至 20%;差额主要来自原本的采购结构与配额限制。
这个反推值与演讲里「有工程师每月花 1,000 到 10,000 美元」并不矛盾,但它揭示了一件事:1,000 到 10,000 是尾部区间,不是均值。按反推的均值 650 至 835 美元算,1,000 美元已经是均值的 1.2 至 1.5 倍,10,000 美元是 12 至 15 倍。用尾部值当基准去乘人数,会把「九成」这个比例的基数放大一个量级。
至于 60% 与 70%,还有一个混淆因素:配额被放开了。Abitbol 自己说,收益较明显的部分不是写代码,而是让 AI 去处理调试与 Jira、Confluence 工单,「当 token 不限量时,你就自由了」。既然如此,效率提升里有多少来自模型、多少来自取消配额,公开数据无法分离。这一点 Dealroom 的核算也提到了。
盈亏平衡四算:130 人、260 人、200 人与 867 人
「多大规模才值得自建」是这场案例最实用的问题,也是最容易被单一数字误导的问题。用四种基准各算一次,会得到差别很大的答案。
| 算法 | 月成本或单价基准 | 每人每月基准 | 盈亏平衡人数 | 隐含假设 |
|---|---|---|---|---|
| 按今日单价对 Opus 级 | 13 万美元月成本 | 按 Opus 级单价折算约 1,000 美元 | 约 130 人 | 同一 token 结构,Opus 级价格 |
| 按今日单价对 Sonnet 级 | 13 万美元月成本 | 约 500 美元 | 约 260 人 | 同上,Sonnet 级价格 |
| 按 Revolut 反推账单 | 13 万美元月成本 | 650 至 835 美元 | 约 156 至 200 人 | 迁移前账单基数成立 |
| 按厂商文档席位均价 | 13 万美元月成本 | 150 至 250 美元 | 约 520 至 867 人 | 按席位订阅而非按量 |
四种算法的差距来自基准选择,不来自算术。前两行用「今日单价」与「同等 token 结构」比,得到 130 与 260 人,这是 LATENT 的口径;第三行用 Revolut 自己的历史账单反推,得到 156 至 200 人;第四行用厂商文档里的席位均价,得到 520 至 867 人。两个端点相差约 6.7 倍(130 对 867),若只看 130 与 867 两个端点,可以说「摆动 5.6 倍以上」。
第四行最容易被忽略,却最贴近多数团队的真实情况。多数公司的编程助手是按席位订阅,人均 150 到 250 美元一月,而不是按 token 计量。按这个基数,13 万美元的月成本要 520 到 867 人才能打平——这还没有算运维人力。LATENT 另给了一个更保守的估算:若把一名运维的成本计入,对 Sonnet 级的盈亏平衡会推到 1,400 至 3,100 人。
所以「Revolut 能省九成」与「你也能省九成」之间隔着三个条件:人均消耗足够高(它的历史账单是席位均价的 2.6 至 5.6 倍)、有稳定的高重复请求(缓存命中 90% 以上)、有能调服务参数的工程能力(八成改善来自参数)。缺任一条,账单比都会明显缩小。
合规模块:银行沙箱、零留存与许可证条款
这场案例还有一半内容不在成本上,而在合规上。Revolut 是受欧盟监管的银行,Agent 跑在人在环的沙箱里,数据零留存,日志走 OpenTelemetry;GLM 的权重托管在中国境外,数据留在公司自有基础设施内。Abitbol 的说法是,主要风险来自「通过设在中国境内的 API 调用」,自建或区域云部署可以避开这一点。
| 合规项 | 做法 | 约束的对象 |
|---|---|---|
| 人工闸门 | Agent 在人在环沙箱内运行 | 高风险动作需人批准 |
| 数据留存 | 零数据留存 | 请求内容不被服务方保存 |
| 可观测 | OpenTelemetry 采集日志 | 决策链路可审计 |
| 权重位置 | 托管在中国境外,数据留在自有基础设施 | 跨境数据流 |
| 许可证 | GLM-5.3 使用自有许可,非 MIT | 年收入超 100 亿美元且做模型即服务的公司需通过 Z.ai 安全审查 |
| 出口管制 | Z.ai 自 2025 年 1 月起在美国实体清单 | 美国对该公司出口受限 |
许可证这一行容易被跳过,但它决定了这套方案能否被复制。条款针对的是「年收入超过 100 亿美元、且对外提供模型即服务」的公司,指向云厂商而非内部使用者;Revolut 2025 年收入约 60 亿美元,不触及该门槛。对多数企业,这一条不构成障碍;对想把自己调好的模型再对外售卖的公司,则需要先过安全审查。
还有一条与能力有关的边界:演讲没有给出 GLM-5.3 与 Claude、GPT 的正面对比基准。第三方榜单把 GLM-5.3 排在第 50 位(共 216 个模型,评分 61/100),这与「前沿模型作为例外」的定位一致——Abitbol 的说法是「前沿是例外」,图像类请求路由到 Gemini,困难任务仍走前沿模型。也就是说,自托管承接的是高频常规流量,不是能力上限。
六步复现路径与五条红线
把演讲里的做法整理成可执行顺序,大致是六步。顺序本身就是经验:先量化再并行,先限上下文再调缓存,最后才评估是否加卡。
- 算清基线:迁移前的人均月账单、token 结构、席位均价三组数,缺一组就先补,否则后面无法判断是否真的省了。
- 定服务目标:首字延迟与生成速度写成硬指标(案例是首字 3 秒内、生成约 200 token 每秒),超过 5 秒视为事故。
- 压显存:先上 FP4 量化,按任务验证精度损失;再用张量并行把权重摊到单机,留出 KV 缓存。
- 限上下文:把可服务的上限压到业务真正需要的长度(案例是 256K),用可预测性换掉长尾风险。
- 拆阶段:把预填充与解码分到不同 GPU 池,配前缀缓存,把重复上下文的命中率做到 90% 以上。
- 做路由:文本走自托管,图像与困难任务走前沿模型,保留「例外通道」而不是全部替换。
五条红线则来自这次案例里没被标题写出来的部分。
| 红线 | 为什么 | 案例里的证据 |
|---|---|---|
| 不要把账单比当单价比 | 两者基数差一个量级 | 90% 是账单比;今日单价只差 10% 至 20% |
| 不要用尾部值当均值 | 会把基数放大 12 至 15 倍 | 1,000 至 10,000 美元对反推均值 650 至 835 美元 |
| 不要忽略运维人力 | 盈亏平衡点会上移数倍 | 计入一名运维后对 Sonnet 级约需 1,400 至 3,100 人 |
| 不要放开长上下文 | 尾延迟与 KV 缓存会失控 | 100 万 token 能力被硬限到 256K |
| 不要跳过许可证与出口管制 | 复制时可能直接卡住 | 自有许可条款与实体清单状态 |
这五条里,前两条属于口径,后三条属于工程与法务。它们的共同点是:都不会出现在「成本降九成」这个标题里,但都会在落地三个月后显现。
未披露清单与三条可证伪检验
这场案例的信息完整度高于多数企业分享,但缺口仍然明确。下面七项都没有公开数据,任何外推都要绕开它们。
| 未披露项 | 影响 | 为什么重要 |
|---|---|---|
| 迁移前后 token 总量 | 无法算单位节省 | 账单比与用量比可能同向变化 |
| GPU 自购还是租用 | 资本开支与运营开支不同 | 盈亏平衡点算法不同 |
| 机房位置与网络成本 | 跨境与带宽成本未计 | 影响单位成本 |
| 运维团队规模 | 人力成本未计入 | 会把平衡点推高数倍 |
| 模型质量对比 | 无法判断能力损失 | 成本下降可能伴随质量下降 |
| 60% 与 70% 的测量方法 | 无法复核 | 自述指标常见缺口 |
| 配额放开前后的用量对比 | 无法分离模型效应与配额效应 | 效率提升的归因不明 |
三条可证伪检验都可以在团队内部小规模跑,成本不高。其一,若「九成来自单价」,那么在同等 token 用量下,自建与商用的月账单差距应接近十倍;若实际只有 10% 至 20%,则九成主要来自「原来买贵了」。其二,若「效率提升来自模型」,那么在放开配额但不换模型的对照期里,编码时间应基本不变;若同样下降,则配额效应占主导。其三,若「调优优于加卡」,那么在加倍 GPU 但不改参数的对照里,首字延迟改善应明显小于改参数的那一版。
最后留一句判断:这个案例的可复制部分不是「换一个开源模型」,而是「先把自己的账单结构算清楚,再决定买、租还是自建」。前者是采购决策,后者是成本工程;前者可以照抄,后者只能自算。
Revolut 后续是否披露迁移前后的 token 用量、运维编制与质量对比,目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。