先钉死证据路线,再下结论

大模型智能体常被用来对着组织的要求核查记录,比如判断一份漏洞报告是否具备了进入调查的条件。要求往往允许多种满足方式——比如一个由策展人复核过的安全评级,或一条已发布的公告链接。智能体容易犯两类错:该做的一道检查没过,它却照单全收;或者没去试另一条仍可能成功的路,就草草接受一个更弱的结论。PRIME(arXiv 2610.22426,10 月 15 日提交,预承诺规则的可验证证据推理)在检查开始前就先动手。

先钉死证据路线,再下结论检查前固定证据路线每条结论如何被证明写进规则独立程序记账记录每次检查结果拒绝不被支持的还指向能撑起更强结论的检查,或自己跑掉只报规则与账本授权的结论480 项公开记录任务:无依据结论 26.7% → 0
图|PRIME 在检查前先把每条结论的证明路线定死,再由独立程序记录结果、拒绝不被支持的结论,把「下结论」变成可审计的动作。

它先固定一组「证据路线」,写明每条结论可以凭什么被证明;再由一个独立的程序记录每一次检查结果,并拒绝任何结果并不支持的结论。它还会指出哪些检查能把结论推到更强,或者自己把这些检查跑掉。PRIME 只报告那些被它的规则和账本授权的结论。在 480 项公开记录任务上,一个只看要求的智能体,在 26.7% 的任务上给出了无依据的结论;而 PRIME 给出的无依据结论是零。

分数从 30.1 到 59.2

在「有依据结论」的均分上,仅靠拒绝策略是 30.1 分;加上 PRIME 的方向指引和主动补做的检查后,均分升到了满分 100 里的 59.2。这里的关键不是模型变聪明了,而是系统强制每一步结论都要有可追溯的凭据,并主动去补那些能撑起更强结论的检查。对合规、审计这类「结论必须站得住」的场景,这种可验证性比单纯的高准确率更有用。

分数从 30.1 到 59.2仅靠拒绝:有依据均分 30.1加指引与补检:59.2 / 100每句结论都要有可追溯凭据,不被支持绝不出口对合规与审计,可验证性比单纯高准确率更有用
图|PRIME 让有依据结论的均分从 30.1 升到满分 100 里的 59.2,关键是强制每一步结论都有可追溯凭据,并主动补做能撑起更强结论的检查。

PRIME 的思路,本质上把「下结论」从模型的自由发挥,变成了受规则和账本约束的可审计动作。它不保证模型永远对,但保证报出来的每一句都有据可查、不被支持的绝不出口。在监管和内部审查越来越看重「过程可追溯」的当下,这类把证据路线前置、把拒绝权交给独立程序的做法,值得更多智能体系统借鉴。