抽 1% 的轨迹,看到的是什么
10 月 29 日,Crux Labs 出隐身并宣布一笔超过 600 万美元的超募轮,由 Benchstrength 与 Misneach 共同领投,Analog Ventures 与 Pareto Holdings 参投。这家公司的主张可以压缩成一句:把企业里的专家判断,变成可以持续校准和监控智能体的评测。
它对现状的描述值得单独拎出来。公开材料称,如今从初创公司到财富 500 强都在规模化部署智能体,却没有可靠的方式衡量和改进它们的表现;许多团队只抽样约 1% 的智能体轨迹做人工复核,因此漏掉了大量位于分布尾部的失败。它认为既有的可观测平台让轨迹更好查,却做不到跨上百万次交互的监控与改进。
1% 这个数字如果成立,本身就是最有力的论点。智能体的失败几乎必然是长尾分布——绝大多数的失败集中在少数几种边缘情形上,而抽样拿到的是众数。抽 1% 意味着你看到的 99% 都是正常样本,恰好是那些不会告诉你任何新东西的样本。
闭环怎么搭,以及它的前提
Crux 描述的闭环分四步:在企业原生工作流里捕获专家判断,据此校准定制评测,用这些评测对全部流量做实时监控,再把评测结果转成直接推回生产的持续改进。它把自己的定位说成给企业配一支专门的评估科学团队。
这个闭环成立有一个前提,而公开材料没有讨论它:专家判断本身得是稳定的。如果两个资深同事对同一个结果给出相反评价,那么「按专家判断校准」校准到的是哪一个人?人员流动、业务规则变更、不同团队的口径差异,都会让这批标签漂移。把判断当标签用,同时也会把它固化成偏见——被校准进去的不只是正确的做法,还有当时当地的偏好。
这不是否定这条路,而是说它需要一个同行没有公开的机制:如何度量标注者之间的一致性,以及分歧出现时怎么处理。
两位创始人的背景说明什么
CEO Julie Kheyfets 与 CTO Krishna Kulkarni 在普林斯顿相识。Kheyfets 有十年在复杂行业部署 AI 的经验,曾负责 Tractable AI 北美业务,并出任 Block Renovation 的 CEO;Kulkarni 曾在 Meta 负责品牌工程,在 Checkr 开发 AI 产品,在 Healthify 把业务做到 2000 万患者规模。两人都在规模化之后才遇到评测问题的位置上待过——这类背景通常意味着产品贴着真实痛点,而不只是从论文里推出来的需求。
官方称公司已在医疗、网络安全、金融服务业等复杂行业获得 traction,客户包括初创公司与财富 500 强企业。但这些都是泛称,没有具名客户,也没有客户数量。
还没回答的几件事
要留的余地不少,且都是关键项。其一,没有营收数字与客户数。其二,没有评测基准——我们不知道 Crux 的评测相对人工复核能多召回多少失败,也不知道误报率。其三,600 万美元对一支要做评估科学的团队来说规模不大,落地节奏与覆盖范围都有待观察。其四,「对全部流量实时监控」的成本没有披露,这在推理开销上是个实打实的变量。
把这条放进赛道里看会更清楚。评测与改进正在从「给人看」转向「直接驱动生产」:有厂商把运行时评测打到已部署实例上、把生产运行转成数据点;也有厂商把编排层搬进托管服务并按 vCPU 小时计费。它们指向同一个判断——智能体进入了运行期,配套的工程设施开始按基础设施的方式被计价和采购。Crux 是从评测这一侧切进去的同一批钱。
对正在自建评测的企业来说,这篇更实际的价值不在产品,而在那个 1%。不管买不买,先问一句自己的团队现在复核了多少比例的轨迹,以及这个比例是怎么定下来的。这个数字通常没人说得清,而它决定了你能不能看见真正的失败。