智能体运行成本里有一笔账,很少有人认真算:一个编码智能体发起构建后要等二十分钟,一个值守智能体等人批准要等到第二天早上——这段等待时间里,进程和内存一直被占着,什么产出都没有。等待不是计算,但等待要花钱。10 月 23 日,AWS 开源了一个直接冲着这笔账去的运行时:Infinity,Apache 2.0 协议,Rust 实现,属于 AWS 与加州大学伯克利分校合作的 Hydro 项目。
核心思路借自编程语言的老智慧。Rust、JavaScript、Python 都支持异步函数:函数等待网络请求时被挂起,线程转去干别的,结果回来再从断点恢复。Infinity 把这套机制原样搬到智能体身上——智能体调用工具的那一刻,它的完整对话历史里已经包含了继续执行所需的全部状态,运行时把历史存进存储、丢掉所有内存状态,智能体就算挂起了。任何能读到这份存储的进程,都能在结果返回时把它唤醒。
执行被切成一个一个短切片:从队列取出一条消息,载入智能体历史,跑一次模型补全,持久化输出,至多派发一次工具调用,然后切片结束、进程退出。工具结果、用户消息、智能体之间的事件全部走共享输入队列,同一会话严格按序处理,不同会话之间并行。这套结构带来一个很有想象空间的推论:智能体可以直接跑在无服务器平台上。参考架构用的是 SQS 队列、Lambda、Aurora DSQL 存历史、DynamoDB 记录消息处理状态——按官方说法,一个等三天持续集成流水线的智能体,在流水线出结果之前不消耗任何计算。
内存数字是这篇发布里最抓眼球的:模拟模型基准下,每个空闲智能体只占约 100KB,8GB 内存能容纳约 7.5 万个并发智能体——官方特意拿树莓派 5 的内存做比较。但冷水必须先泼:这组数字来自模拟模型、内存存储、单线程服务器的厂商自测,没有独立复核,生产环境里真实的模型延迟、工具负载、存储开销都会改写这个量级。它证明的是「挂起的智能体便宜到可以忽略」这个设计结论,不是可直接抄走的容量规划参数。
工程细节里还有两处值得注意的设计。一是智能体间通信:模型接口假定每个工具调用恰好对应一个结果,事件驱动没有现成的口子,Infinity 的办法是插入一个模型从未发起的「合成工具调用」,把事件包装成它的返回值注入对话——父子智能体协作也走同一条路,子线程先替父线程消化事件、攒成摘要再上报,保住父线程的上下文窗口。二是兼容性:现有 MCP 服务器通过兼容层原样运行,另有一套不占长连接的 Reactive Agent Protocol;仓库里还附了一个基于该运行时的编码智能体示例 Infinity Code。
把视角拉高,这份发布和前一天谷歌的智能体计算引擎(本站 2103 已覆盖)正好凑成互补的两半:谷歌那套给每个智能体配微虚拟机,解决的是执行隔离与凭证边界;Infinity 解决的是空闲成本与规模并发。一边管安全,一边管经济账,两件事拼起来才是智能体基建的完整底座。作者在文末自列了两个开放问题:习惯了顺序工具调用的模型,接不接得住乱序到达的事件;运行时怎么确认一条外来事件是真的而不是伪造的。这两个问题不解决,挂起唤醒的机制越高效,攻击面也就越整齐。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。