一期建成，向一百万块卡推进
10 月 19 日，Meta 工程团队的 Kevin Lee、Yashar Bayani、Ahmed Sharif 与 Yee Jiun Song 联合发文，公开了俄亥俄州新奥尔巴尼（New Albany）Prometheus 集群的建造细节。按 Meta 的说法，这个园区两年前还是一个服务网页流量的普通数据中心，如今一期已经建成，正朝约一百万块 GPU 的规模推进，由多栋相互连接的建筑共同组成一台机器。
一期完成的任务，是训练 Meta 的 Muse 系列基础模型。
有效算力占比：真正值钱的那个数字
文章里最有参考价值的不是规模，而是可靠性。Meta 称，Muse Wonder 的预训练跑出了超过 85% 的 goodput，强化学习阶段超过 90%。goodput 的含义是：集群时间里真正产出训练进展的比例，其余部分都被崩溃、重启与停顿吃掉。
配套的中断数据更能说明这几年发生了什么。Meta 记录到的挂钟平均无中断时长（MTBI），在这些训练运行中约为 4.7 万个 GPU 小时；随后向全机队推了一批固件改动，把这个指标推过 5.4 万个 GPU 小时。而在 2025 年年中，中断频率的峰值一度接近每 8000 张卡每天 1000 次，一年多的工程整改把它压掉了约 99%。Meta 给自己的目标是每 8000 张卡每天两次中断，折算下来大约是 10 万个 GPU 小时一次。
这组数字的意义在于：规模越大，单卡故障率即使保持不变，同步训练也会被频繁打断，而在几万张卡上重启一次作业的代价是实打实的算力与电力。可靠性工程从这个位置起，不再只是运维细节，而是决定集群实际产出的变量。
三代机架平台：从 GB200 到 Vera Rubin
硬件上，Prometheus 目前跑着两代基于 NVL72 架构的平台，第三代在途。Catalina 采用 GB200 NVL72 的 Ariel 变体，两个机架各装 36 张卡，组成一个 72 卡的 NVLink 域，每卡 192GB HBM3e、合计 13.4TB；峰值算力 720 PFLOPS（FP8）、1440 PFLOPS（FP4），两个机架合计功耗约 120kW。每张 Blackwell 配一颗 Grace CPU 与两张 ConnectX-7 400G 网卡，等于给每张卡 800G 的横向带宽——Meta 当时的判断是，scale-up 侧的能力涨得比 scale-out 快，不先把网络补齐就会被拖住。
Clemente 换成 GB300 NVL72，把完整的 72 卡域压进单个机架，每卡 HBM3e 提到 288GB，峰值 FP4 超过 1 EFLOP，机架功耗约 135kW，相对 GB200 NVL72 有 5% 到 10% 的性能增益。接下来的 San Miguel 将是 Vera Rubin NVL72：每卡 288GB HBM4、带宽 19.2TB/s，峰值 FP4 2.52 EFLOPS，NVLink 带宽 216TB/s，全液冷计算托盘，机架功耗超过 170kW，Meta 预计每瓦性能比 GB300 NVL72 高 10% 到 20%。
72 卡故障域：把爆炸半径摊进冗余里
把 NVLink 域从 8 卡扩到 72 卡，代价是单次故障的影响面放大九倍。Meta 的解法是给每个故障域留缓冲：每机架 64 张卡在线、8 张作为机架内备件，另外再留约 2% 的整机柜储备。于是一个需要 32768 张活跃卡的训练作业，实际要占用 523 个机架、共 37656 张卡，开销约 13%。再加上 Parallelism-Aware Fault Tolerance（PAFT）把故障隔离到具体的数据并行副本，避免整条训练直接停摆。
这套做法的取舍很清楚：用 13% 的硬件冗余，换不被打断的训练时间。对几百张卡的集群来说这个比例可能并不划算，但当集群规模到几十万张卡、单次重启的代价以小时计时，买冗余反而更便宜。
功率：限流，而不是停机
电力侧的难度常被低估。同步训练会让整个集群的负载在 30% 到 40% 的幅度内摆动，启动或暂停一个大作业可以在几秒内移动数十兆瓦。Meta 做了 Dynamo Dimmer，在逼近电力上限时渐进式给 GPU 降功率封顶，而不是直接把作业杀掉；背后还有机架级电池、电容托盘与设施级电池储能托底。单卡满载约 1400 瓦，这个数字乘以一百万，本身就解释了为什么这类集群都建在电站旁边。
网络则是另一套专用系统：训练流量走独立的以太网后端，每栋楼的 fabric 最多连 20736 张卡，再由后端聚合网络把楼与楼连起来，跨度从 2 公里到 100 公里以上；Meta 采用可调度与非调度两套 fabric，跑在自己的 FBOSS 网络栈上。运维侧，Meta 称可以在数小时内给十万张以上的卡推送固件，并对六十多万条 NVLink 路径做自动信号筛查。
经验往哪儿去，以及需要保留的判断
这些经验正在喂给 Hyperion——Meta 规划中路易斯安那州 Richland Parish 的更大规模集群，采用闭环液冷，电网由 Entergy 配套，Meta 表示会承担全部能源成本。Prometheus 自身会继续以 GB300 与 Vera Rubin 机架混合扩容。
需要保留的判断有三条：上面所有百分比与时长都是 Meta 自己的口径，没有第三方核验；「约一百万块卡」是目标而不是现状；13% 的冗余开销也说明，一百万这个数字背后还要再乘上一笔看不见的成本。即便如此，这份材料对外部团队仍有可直接借鉴的部分——故障域内留备件、功率问题上限流而不是停机、把互联链路的健康检查自动化。这三件事在几百张卡的集群上同样成立，只是试错空间更小。