11 月 9 日,Google Cloud 在第八代 TPU 产品线中新增两款专用系统:TPU 8i Max 与 TPU 8tx。至此,谷歌在一年内推出了 8t、8i、8tx、8i Max 共四款 TPU 系统,分别面向大规模训练、低延迟推理、机密计算与大上下文窗口。

TPU 8i Max 针对内存墙问题,把两颗低延迟 TPU 8i 芯片封装到单一封装内,算力、片上 SRAM 与 HBM 带宽均翻倍。其 HBM 带宽达 17.2 TB/s(较 8i 的 8.6 TB/s 翻倍),HBM 容量 384 GB,SRAM 768 MB。单机架可部署的算力密度显著提升,适合百万 token 上下文与多智能体并行。

TPU 8tx 面向受监管企业,提供硬件级机密推理:数据与会话即便在推理运行中也被隔离保护。它沿用 8t 的芯片,换用第五代 AMD EPYC 主机,并接入低延迟 Boardfly 网络,延迟较 TPU 8t 降低至多 2 倍,支持在私有数据上微调而无需跨集群迁移敏感数据。

软件侧同步开放:开源 TorchTPU 让 PyTorch 与 Hugging Face 模型免改写跑在 TPU 上;开源 TPU Sync 统一芯片、主机、存储与网络的内存层;Agent Compute Engine 自动挂起空闲智能体会话以节省成本。谷歌称 TPU 业务已有近 100 家客户,含顶尖实验室、交易机构、零售商与高校。

从单一通用芯片到按场景拆分的模块化 TPU,谷歌正以数月而非数年的节奏迭代专用硬件,与 NVIDIA、AMD 在 AI 加速器市场贴身竞争。对开发者而言,能否真正降低百万 token 智能体工作流的实际成本,将是 8i Max 落地企业市场的关键指标。

一年四款 TPU:按场景拆分的模块化加速器11 月 9 日发布 8i Max 与 8tx,补齐训练 / 推理 / 机密 / 长上下文TPU 8i Max:破内存墙双 8i 芯片单封装:算力 / SRAM / HBM 带宽翻倍HBM 带宽 17.2 TB/s(8i 为 8.6),HBM 384GB,SRAM 768MB单机架算力密度提升,适配百万 token 与多智能体TPU 8tx:机密推理硬件级隔离:推理中数据与会话亦受保护沿用 8t 芯片 + 五代 AMD EPYC + Boardfly 网络延迟较 8t 降至多 2x,私有数据可就地微调软件与生态开源 TorchTPU / TPU Sync;Agent Compute Engine 挂起空闲会话TPU 业务近 100 家客户(实验室 / 交易 / 零售 / 高校)意义以数月节奏迭代专用硬件,对标 NVIDIA / AMDL1=Google Cloud 博客 11-09 · L2=腾讯新闻 / TechNewsReel
第八代 TPU 新增两款:8i Max 破内存墙,8tx 做机密推理

信息来源