11 月 9 日,Google Cloud 在第八代 TPU 产品线中新增两款专用系统:TPU 8i Max 与 TPU 8tx。至此,谷歌在一年内推出了 8t、8i、8tx、8i Max 共四款 TPU 系统,分别面向大规模训练、低延迟推理、机密计算与大上下文窗口。
TPU 8i Max 针对内存墙问题,把两颗低延迟 TPU 8i 芯片封装到单一封装内,算力、片上 SRAM 与 HBM 带宽均翻倍。其 HBM 带宽达 17.2 TB/s(较 8i 的 8.6 TB/s 翻倍),HBM 容量 384 GB,SRAM 768 MB。单机架可部署的算力密度显著提升,适合百万 token 上下文与多智能体并行。
TPU 8tx 面向受监管企业,提供硬件级机密推理:数据与会话即便在推理运行中也被隔离保护。它沿用 8t 的芯片,换用第五代 AMD EPYC 主机,并接入低延迟 Boardfly 网络,延迟较 TPU 8t 降低至多 2 倍,支持在私有数据上微调而无需跨集群迁移敏感数据。
软件侧同步开放:开源 TorchTPU 让 PyTorch 与 Hugging Face 模型免改写跑在 TPU 上;开源 TPU Sync 统一芯片、主机、存储与网络的内存层;Agent Compute Engine 自动挂起空闲智能体会话以节省成本。谷歌称 TPU 业务已有近 100 家客户,含顶尖实验室、交易机构、零售商与高校。
从单一通用芯片到按场景拆分的模块化 TPU,谷歌正以数月而非数年的节奏迭代专用硬件,与 NVIDIA、AMD 在 AI 加速器市场贴身竞争。对开发者而言,能否真正降低百万 token 智能体工作流的实际成本,将是 8i Max 落地企业市场的关键指标。