先钉死证据路线,再下结论
大模型智能体常被用来对着组织的要求核查记录,比如判断一份漏洞报告是否具备了进入调查的条件。要求往往允许多种满足方式——比如一个由策展人复核过的安全评级,或一条已发布的公告链接。智能体容易犯两类错:该做的一道检查没过,它却照单全收;或者没去试另一条仍可能成功的路,就草草接受一个更弱的结论。PRIME(arXiv 2610.22426,10 月 15 日提交,预承诺规则的可验证证据推理)在检查开始前就先动手。
它先固定一组「证据路线」,写明每条结论可以凭什么被证明;再由一个独立的程序记录每一次检查结果,并拒绝任何结果并不支持的结论。它还会指出哪些检查能把结论推到更强,或者自己把这些检查跑掉。PRIME 只报告那些被它的规则和账本授权的结论。在 480 项公开记录任务上,一个只看要求的智能体,在 26.7% 的任务上给出了无依据的结论;而 PRIME 给出的无依据结论是零。
分数从 30.1 到 59.2
在「有依据结论」的均分上,仅靠拒绝策略是 30.1 分;加上 PRIME 的方向指引和主动补做的检查后,均分升到了满分 100 里的 59.2。这里的关键不是模型变聪明了,而是系统强制每一步结论都要有可追溯的凭据,并主动去补那些能撑起更强结论的检查。对合规、审计这类「结论必须站得住」的场景,这种可验证性比单纯的高准确率更有用。
PRIME 的思路,本质上把「下结论」从模型的自由发挥,变成了受规则和账本约束的可审计动作。它不保证模型永远对,但保证报出来的每一句都有据可查、不被支持的绝不出口。在监管和内部审查越来越看重「过程可追溯」的当下,这类把证据路线前置、把拒绝权交给独立程序的做法,值得更多智能体系统借鉴。