为什么「智能体出错」需要一套新的检测方法

传统软件出错的信号很明确:接口返回 500、进程崩溃、页面空白。这些事件会写进日志,会触发告警,没人在看也知道它坏了。

智能体不是这样。它出错的时候通常不报错——回答里的事实是编的、调用的工具是错的、或者在一个循环里反复打转直到把额度耗光。任务列表上可能显示成功,指标看着也还行,直到某个用户投诉上来,人们才发现问题已经发生了很久。

9 月 17 日,智能体可靠性公司 Raindrop 宣布完成 A 轮融资,由 CRV 领投,累计融资达到 5000 万美元。这个数字本身不算特别,但它对应的方向值得关注:把「智能体的失败」当成一类独立的检测问题来做。

公司背景与它自比的对象

Raindrop 成立于 2023 年,创始人是 Zubin Koticha、Alexis Gauba 与 Ben Hylak。前两位此前共同创办过 DeFi 期权平台 Opyn,后被 Coinbase 收购;Hylak 在苹果人机界面团队做过四年,参与过 visionOS。团队构成里还包括在 Robinhood 做过欺诈检测模型的工程师、在 Square 做过恶意行为检测的工程师,以及来自 Segment、Semgrep、Socket.dev 的安全工程师。

这个背景组合很有意思:欺诈检测与恶意行为检测,处理的都是「海量正常流量里混着少量异常,且异常没有明确签名」的问题——和智能体失败检测在方法上高度同构。公司把自己类比为「面向智能体的 Sentry」,指的就是这种实时捕获与定位的角色。

最新一轮之前,公司已于 2025 年 12 月完成 1500 万美元种子轮,投资方包括 Lightspeed Venture Partners 与 Y Combinator;本轮这两家继续参与,另有 OpenAI、Anthropic 与 Thinking Machines 的研究人员以天使身份加入。公开客户包括 Vercel、Framer、Clay,以及数家《财富》100 强企业。

Simulations 想解决的是预定义用例的盲区

随融资一同发布的新产品叫 Simulations,目前处于研究预览阶段。

它针对的是传统评测的一个结构性缺陷。常规评测依赖团队事先写好的测试用例,因此只能测出「已经想到的失败」。那些没人预料到的失败模式,恰恰是漏网的部分。

Simulations 的做法是:把真实生产流量与既有测试用例,回放到一个尚未上线的候选 harness 上,然后在结果上跑 Raindrop 的异常检测。这样团队既能用自己的用例衡量表现,也能看到预期之外的改动。公司用一句话概括它的价值——让工程师看到「这次改动会改变什么」。

同一个「出错」,两种完全不同的表现传统软件报错:500、异常、崩溃信号可见、可定位,有堆栈可查监测方式:日志、错误率、告警阈值没人看也知道它坏了智能体不报错:答错、误用工具、死循环指标看着还行,往往是用户先发现监测方式:读生产的执行轨迹失败得更「自信」,只是规模被放大为什么现在被单独拿出来做:任务在变长、一次运行在变重METR 口径:智能体能独立完成的任务时长约每 7 个月翻一番一次运行可以持续数天、调用上千次工具,接触真实资金与数据
图 1|左边那类问题有明确的报错信号,右边那类问题要先定义什么叫「错」,才谈得上监测。

这个提法对应了一个被普遍低估的成本项。在智能体系统里换模型、改提示词、调工具配置,影响的往往不只是一条路径。过去这类改动的验证主要靠直觉和少量手测,Simulations 想提供的是改动前的对照。

瑞士奶酪的比喻:为什么只回放旧日志不够

公司在解释技术难点时用了一个比喻:每一次真实的工具调用都是世界上的一个孔洞,透过它能看到当时环境的一个切片;只有足够多的孔洞叠在一起,才能拼出智能体所处的环境。

这个比喻推导出一个具体的工程约束:如果新增了一个从未出现过的工具,那么历史轨迹里没有任何关于它的记录,单纯回放旧日志就不能覆盖这个新变量。缺口部分必须靠模拟补出来——这也解释了产品名为什么叫 Simulations,以及为什么它不只是「日志回放」。

这条思路与前沿实验室内部的做法是同源的。OpenAI 公开过关于「部署模拟」的研究,思路是用候选模型对脱敏后的生产对话重新生成回复,以此在发布前预测异常行为发生率;Anthropic 也在构建合成环境来训练与压测自己的智能体。Raindrop 的定位,是把这类流程做成能提供给外部团队的产品。

Simulations 想回答的一句话:这次改动会改变什么生产轨迹真实流量既有测试用例候选 harness未上线的改动异常检测影响清单绕不开的缺口每个真实工具调用只是世界的一个切片;切片够多才能拼出智能体所处环境新增一个从未出现过的工具时,没有任何历史轨迹可回放所以只放旧日志不够,缺口部分得靠模拟补出来同赛道的资本与整合:Braintrust 今年 2 月完成 8000 万美元 B 轮;Galileo 被思科收购后并入 Splunk,以 Splunk Agent Observability 售卖
图 2|回放解决的正是传统评测最弱的一环:只测团队事先想到的失败,测不到没想到的。

这个品类的资本格局

把视野拉开看,智能体可观测性在过去一年已经从概念变成了一个有钱、有买家的赛道。

今年 2 月,可观测性平台 Braintrust 完成 8000 万美元 B 轮,客户包括 Notion、Replit 与 Cloudflare。4 月,同行 Galileo 被思科收购,随后并入 Splunk,目前以 Splunk Agent Observability 的名义售卖。

这两件事的组合说明了一种典型的市场演化:早期由独立公司定义品类,随后基础软件巨头通过收购把这块能力纳入自己的平台。对独立厂商来说,这既是退出通道,也是压力——大厂一旦把监控能力打包进既有合同,独立产品的定价空间会被压缩。

Raindrop 选择的差异化路径,是把「生产环境监测」与「上线前模拟」放进同一个产品。前者解决「现在哪里坏了」,后者解决「这次改动会带来什么」。能不能把两段拼成闭环,是它与纯监控工具拉开距离的关键。

检测能做什么,不能做什么

这里需要把话说清楚:检测不等于预防。

Raindrop 做的是在轨迹里发现异常,然后告诉团队「什么变了、什么时候开始的、影响了哪些用户」。它能显著缩短从「出错」到「知道出错了」之间的时间,这本身就是很大的价值——智能体的失败最麻烦的地方正是沉默。但它不阻止智能体做错事。防护职责仍在权限设计、工具边界与人工审批那一层。

CRV 的一位普通合伙人对此的表述是:智能体与传统软件本质不同,它能力很强、高度自主且不确定,Raindrop 把智能体失败当成一个检测问题来处理,就像安全公司做的那样。这句话反过来也说明了它的边界——安全公司能降低损失,但无法保证不出事。

三个需要留意的问题

一是定价结构与使用量强绑定。公开的第三方整理的定价资料显示,其基础档位按月度费用加上按交互次数计费的模式,用量越大成本越高。对于每天产生大量轨迹的智能体产品而言,这项支出会随业务量同步增长,属于需要提前测算的固定成本。

二是赛道拥挤且正在被整合。同类产品已经在被基础软件厂商吸收,独立厂商需要持续证明「模拟」这一段的独特性,否则容易被归入可打包的通用监控能力。

三是效果口径。目前的客户证言集中在「问题可见性提升」这类描述上,公开材料没有披露误报率、漏报率或对事故数量的实际影响。对这类工具来说,误报率和漏报率的组合才是真正决定它能不能长期用下去的数字。目前官方及行业暂未披露更多细节,后续将持续跟进迭代动态。

这件事的真正信号

把视线从单笔融资上移开,Raindrop 的意义也许在于它标出了一个阶段性的变化:智能体的失败已经足够常见、足够昂贵,以至于围绕它形成了独立的工具品类与投资主题。

过去衡量智能体的成熟度,看的是它能完成多复杂的任务。现在多了一个维度——它出错的时候,要多久才会有人知道。这个维度不解决能力问题,但它决定了能力能不能被放心地交出去。