抽 1% 的轨迹,看到的是什么

10 月 29 日,Crux Labs 出隐身并宣布一笔超过 600 万美元的超募轮,由 Benchstrength 与 Misneach 共同领投,Analog Ventures 与 Pareto Holdings 参投。这家公司的主张可以压缩成一句:把企业里的专家判断,变成可以持续校准和监控智能体的评测。

它对现状的描述值得单独拎出来。公开材料称,如今从初创公司到财富 500 强都在规模化部署智能体,却没有可靠的方式衡量和改进它们的表现;许多团队只抽样约 1% 的智能体轨迹做人工复核,因此漏掉了大量位于分布尾部的失败。它认为既有的可观测平台让轨迹更好查,却做不到跨上百万次交互的监控与改进。

1% 这个数字如果成立,本身就是最有力的论点。智能体的失败几乎必然是长尾分布——绝大多数的失败集中在少数几种边缘情形上,而抽样拿到的是众数。抽 1% 意味着你看到的 99% 都是正常样本,恰好是那些不会告诉你任何新东西的样本。

失败长在分布的尾部,抽样拿到的是众数厂商对现状的描述:多数团队只抽样约 1% 的智能体轨迹做人工复核结果是长尾里的失败基本没被看见该数字为 Crux 自己的陈述,未给出抽样方法或样本来源既有可观测平台让轨迹更好查人来看更方便但改进动作仍需人工发起Crux 主张的做法对全部流量实时监控评测按专家判断校准改进直接推回生产10 月 29 日出隐身并宣布超募 600 万美元;Benchstrength 与 Misneach 共同领投
图|Crux 给出的痛点是团队只复核约 1% 的轨迹;它的主张是把评测校准到专家判断,再对全部流量监控并把改进推回生产。

闭环怎么搭,以及它的前提

Crux 描述的闭环分四步:在企业原生工作流里捕获专家判断,据此校准定制评测,用这些评测对全部流量做实时监控,再把评测结果转成直接推回生产的持续改进。它把自己的定位说成给企业配一支专门的评估科学团队。

这个闭环成立有一个前提,而公开材料没有讨论它:专家判断本身得是稳定的。如果两个资深同事对同一个结果给出相反评价,那么「按专家判断校准」校准到的是哪一个人?人员流动、业务规则变更、不同团队的口径差异,都会让这批标签漂移。把判断当标签用,同时也会把它固化成偏见——被校准进去的不只是正确的做法,还有当时当地的偏好。

这不是否定这条路,而是说它需要一个同行没有公开的机制:如何度量标注者之间的一致性,以及分歧出现时怎么处理。

把专家判断当标签,先得回答判断本身稳不稳闭环四步在企业原生工作流里捕获专家判断据此校准定制评测改进直接上线成立的前提专家之间要大体一致判断能复用到新场景标签不随人员流动漂移未公开的部分无营收与客户数无基准与召回数字客户仅泛称财富 500 强两位创始人的背景与赛道位置CEO Julie Kheyfets 曾负责 Tractable AI 北美业务并任 Block Renovation CEOCTO Krishna Kulkarni 曾在 Meta 做品牌工程、在 Checkr 做 AI 产品、在 Healthify 做到 2000 万患者赛道位置:评测与改进正从「给人看」转向「直接驱动生产」600 万美元对一支评估科学团队而言规模不大,落地节奏有待观察
图|把专家判断变成标签的前提是判断本身稳定;Crux 尚未公开营收、客户数与评测基准,客户仅泛称为财富 500 强。

两位创始人的背景说明什么

CEO Julie Kheyfets 与 CTO Krishna Kulkarni 在普林斯顿相识。Kheyfets 有十年在复杂行业部署 AI 的经验,曾负责 Tractable AI 北美业务,并出任 Block Renovation 的 CEO;Kulkarni 曾在 Meta 负责品牌工程,在 Checkr 开发 AI 产品,在 Healthify 把业务做到 2000 万患者规模。两人都在规模化之后才遇到评测问题的位置上待过——这类背景通常意味着产品贴着真实痛点,而不只是从论文里推出来的需求。

官方称公司已在医疗、网络安全、金融服务业等复杂行业获得 traction,客户包括初创公司与财富 500 强企业。但这些都是泛称,没有具名客户,也没有客户数量。

还没回答的几件事

要留的余地不少,且都是关键项。其一,没有营收数字与客户数。其二,没有评测基准——我们不知道 Crux 的评测相对人工复核能多召回多少失败,也不知道误报率。其三,600 万美元对一支要做评估科学的团队来说规模不大,落地节奏与覆盖范围都有待观察。其四,「对全部流量实时监控」的成本没有披露,这在推理开销上是个实打实的变量。

把这条放进赛道里看会更清楚。评测与改进正在从「给人看」转向「直接驱动生产」:有厂商把运行时评测打到已部署实例上、把生产运行转成数据点;也有厂商把编排层搬进托管服务并按 vCPU 小时计费。它们指向同一个判断——智能体进入了运行期,配套的工程设施开始按基础设施的方式被计价和采购。Crux 是从评测这一侧切进去的同一批钱。

对正在自建评测的企业来说,这篇更实际的价值不在产品,而在那个 1%。不管买不买,先问一句自己的团队现在复核了多少比例的轨迹,以及这个比例是怎么定下来的。这个数字通常没人说得清,而它决定了你能不能看见真正的失败。