把迁移成本从重写压成改配置
10 月 20 日，在 PyTorch Conference 2026 上，谷歌宣布面向自研张量处理单元的原生 PyTorch 软件栈 TorchTPU 已在 GitHub 开源。按谷歌的说法，TPU 从此与 GPU、CPU 一样，成为 PyTorch 的原生后端选项，开发者可以用已经熟悉的工具链在 TPU 上训练、部署和提供服务。
官方给的例子很直白：把代码里的设备字符串从指向 CUDA 改成指向 TPU，其余写法基本不变。调试阶段用 eager 模式，转到生产时再交给 torch.compile 去做算子融合与内存优化。需要说明的是，上面这句是谷歌与 TorchTPU 团队自己的表述，第三方并未独立复现迁移工作量。
与 PyTorch/XLA 的差别在哪
TorchTPU 团队在 PyTorch 官方博客上把旧路线摆出来做了对照：早期的 PyTorch/XLA 需要侵入式改动源码，并且缺少 eager 执行能力。新栈按原生 PyTorch 后端的方式构建，2025 年年中在谷歌内部启动，Meta 的 PyTorch 团队参与共同开发。
这个区别值得拆开看。需要改源码意味着迁移是一次性工程投入，而且每次上游更新都可能重新踩坑；缺 eager 执行则意味着调试门槛高，模型跑不通时定位成本大。两件事叠在一起，过去让不少团队在评估阶段就放弃了。
数字：算子、加载率与数值一致率
官方披露的覆盖率数据有三组：TorchTPU 支持约 450 个 ATen 算子；在团队自己的测试中，4917 个 Hugging Face 模型里有 4821 个（98%）加载后没有崩溃；657 个架构代表模型中有 638 个（97%）的数值结果与 GPU 落在团队设定的阈值之内。
成本侧，TorchTPU 团队引用 SemiAnalysis 的 InferenceX 基准称，TPU v7 配合 vLLM-TorchTPU 软件栈在 8K/1K 测试上达到每百万词元 2.01 美分，而该配置 9 月上线时是 3.6 美分。这条数据由谷歌转引，我们未能打开 SemiAnalysis 的原始结果核验，因此只作为谷歌口径列出。
生态联动才是真正的落点
单靠一个后端改变不了格局，谷歌这次把合作方一起拉了进来：与 Inferact 合作把 vLLM 的原生 PyTorch 后端接到 TorchTPU 上，支持连续批处理、量化与多芯片并行；与 RadixArk 合作做 SGLang 后端；与红帽、IBM 以及一个据称有 500 多名贡献者、25 个组织的社区一起发布 llm-d 1.0，用于在 Google Kubernetes Engine 上跨 TPU 与 GPU 机群做推理路由。
训练与工具链侧还有 TorchTitan 集成、面向 VeRL 强化学习框架的 TPU 后端（预览）、以及 Ray 的原生支持。Hugging Face 方面，Transformers v5 里把设备映射参数直接设成 TPU 就能部署，Diffusers 也原生支持 TPU；双方还建了专门的持续集成流水线，每晚在 TPU 基础设施上跑 Transformers 测试套件。此外，谷歌把原本叫 TensorFlow Lite 的端侧推理运行时 LiteRT 也并入了 PyTorch 生态，并推出 TPU 智能体套件辅助迁移与排错。
Meta 的角色，以及没说的部分
Meta 的 PyTorch 工程总监 Jana van Greunen 在谷歌的公告里给出背书：公司需要庞大的算力规模与深度的硬件多样性，不能被单一硬件架构约束；TorchTPU 让 Meta 能够把 PyTorch 工作负载部署到谷歌 TPU 上，并向工程团队直接反馈。
但两份公告都没有披露 Meta 采购或租用 TPU 的规模与金额，也没点名所谓「最大的谷歌云客户」具体是谁。 PyTorch 官方博客只说 TorchTPU 已在部分大型客户的推理与训练中投入生产使用。换句话说，这次公开的是软件栈与生态合作，商业条款仍在水面之下。
同一周，亚马逊的另一条路
时间点上还有个巧合：亚马逊在 10 月 19 日把面向自研 Trainium 芯片的 PyTorch 后端 TorchNeuron 推进到公开测试阶段，同样强调无需重写代码即可迁移，并表示正在向 PyTorch 主项目提交代码、把各项功能与英伟达芯片解耦，让 PyTorch 原生兼容多种硬件。
目前没有看到把两者放在同一基准下比较的结果。行业里常引用的一个背景数字是约 85% 的 AI 应用使用 PyTorch；这套框架最初由 Meta 在 2016 年开发，2022 年移交 Linux 基金会管理，其中不少能力当年是围绕英伟达 GPU 打造的。两家云厂商现在做的事，是把当初为 GPU 长出来的那层默认假设拆掉。
需要保留的判断
三条提醒。其一，模型覆盖率、性能与成本数字都来自谷歌与 TorchTPU 团队的自述，SemiAnalysis 那组也是谷歌的转引。其二，设备字符串能换不等于能跑到峰值——模型的形状、分片策略与算子选择往往是按 GPU 调优过的，官方自己也承认简单替换只能保证跑起来，不保证跑满。其三，迁移门槛下降与市场份额变化之间还有很长的距离，实际选择仍取决于芯片性能、软件成熟度、稳定性与成本。
不过方向已经清楚了：过去几年算力竞争主要比的是单卡性能与供货能力，现在开始往软件生态这一层压。谁能让开发者在几乎不动代码的前提下换硬件，谁就有机会把自研芯片从云厂商的内部选项，推进到更广泛的开发工作流里。