自动建模最容易骗自己的地方
11 月 6 日，奇富科技开源了自动建模智能体 ModelEvo 2.0，面向结构化和表格数据。TechWeb 原发、网易转载的报道把变化说得很清楚：1.0 做的是把专家经验沉淀成标准化技能，让建模按流程走；2.0 把「怎么持续把效果提上去」也交给智能体自己探索——用户给业务目标、建模样本和验证方案，它在给定预算内分析数据、规划实验、持续调整方向，对通过确认与交付校验的方案输出模型成果和完整实验记录。
这类系统有个不太被提及的通病：试得多，必然撞得出高分。特征构造、数据组织、模型选择、超参，每多跑一轮实验，就多一次「恰好在这份验证集上好看」的机会。若把搜索过程直接接到评分上，智能体会非常高效地优化噪声，最后交出一个看着漂亮、换批数据就塌的方案。自进化类智能体讲起来都很动人，落地时多半卡在这里——不是不会提假设，是没有一套机制拒绝自己的假设。
让代码当裁判，而不是让模型自己打分
ModelEvo 2.0 的做法被概括成一句挺有意思的话：大模型负责提案，代码负责裁决。具体落在四处——统计检验判断提升是否显著，选择校正处理多重比较带来的虚高，独立复现确认结果不是某次运行的偶然，测试集隔离防止验证信息渗进搜索过程。方案冻结之后，系统才做一次性的最终留出评估，并完整记录实验过程，供复核结果、追溯优化依据。顺序很关键：留出评估放在冻结之后，且只用一次，等于把「反复偷看考卷」这条路从流程上堵掉。
这套设计与本轮另外两篇能对上。2194 的 MCPHallu 把失败类型前置到出题阶段，2195 的 Visa 基准把「不买」算作正确答案，本质上都是不让系统只朝着「做成了」这一个方向使劲；ModelEvo 补的是第三处——连「这次算不算做成」都不交给提方案的那套逻辑。站内 2189 记的 OpenAI 漏洞流水线也一样，机器跑量、末段留人工复核，结论是人工这一环省不掉。不同赛道反复撞见同一个判断，说明它不是某家的偏好，而是自主循环类系统的结构性缺口。
经验库里，历史结论只当起点
2.0 还加了跨任务经验复用：系统保存建模原则、实验依据与模型配方，供后续任务检索；但有一条硬约束——历史方法进入新任务，仍要在当前数据上重新验证。这一笔看着轻，其实把记忆放回了正确的位置。站内 2182 那篇 MemUse 测出记忆送达了却没被用，那说的是「有没有用起来」；ModelEvo 处理的是另一头：「用起来了也不能直接信」。经验负责给搜索一个更好的起点，不负责给结论签字。
效果方面，厂商给的是五个公开数据集、固定数据切分的冷启动评测：在六个单模型参评方案里取得 1.60 的平均名次，三个数据集上排在参评方案最前；含历史明细的信贷违约预测任务，较两个大模型建模 Agent 的单模型对照方案均高出 0.025 以上。奇富还称在内部信贷业务数据上已能稳定交付优于基线的模型，同一业务后续迭代达到最终效果所需时间缩短到约六分之一。增长算法负责人王耀宣的表述是，让大模型写代码容易，让效果持续提升且经得起检验，仍是件严肃的事。
冷水：这些数字得按厂商口径读
分寸不能省。这篇目前主要依据 TechWeb 报道与转载，属于单一来源；评测由厂商自己组织，参评方案的具体构成、0.025 对应哪个指标、固定切分怎么做的，报道里都没展开；1.60 的平均名次是相对名次，不是绝对性能；内部数据「优于基线」和「约六分之一」都没有给出基线与测算方法，只能当公司自述。开源仓库地址、许可证与社区复现情况，公开报道中也未见交代。
能拿走的是那套流程纪律，不是那串名次。对正在做自动实验、自动调参或自进化智能体的团队，最值得抄的不是某个技能包，而是三条：搜索次数与统计显著性要一起设计，裁决逻辑要独立于提案逻辑，留出评估要留到方案冻结之后。这三样不花钱，却比多跑几百轮实验更能决定结果能不能上生产。目前官方及行业暂未披露更多细节，后续将持续跟进迭代动态。