一份跨公司联署的警告

据《华尔街日报》9 月 28 日报道,一篇由 20 多名研究人员联署的论文当日发表,警告 AI 研发自动化可能触发「智能爆炸」——原本需要数年才能完成的技术进步被压缩到数月甚至更短,迭代速度最终超出人类的理解与掌控能力。联署名单的分量是这条新闻的核心:OpenAI 首席科学家雅库布·帕乔基、Anthropic 联合创始人杰克·克拉克、微软首席科学官埃里克·霍维茨、Meta AI 研究副总裁宋晓冬,再加上深度学习先驱杰弗里·辛顿与约书亚·本吉奥。所有作者均以个人身份署名。OpenAI、微软与 Meta 拒绝置评,Anthropic 未回应采访请求。

从研发自动化到政策建议:论文的完整论证链AI 研发自动化AI 承担研发流程(Anthropic 8 月口径 26%)→递归式自我改进更强系统接管更多研发一代比一代快的循环→「智能爆炸」数年进步压缩至数月超出人类掌控速度三类风险:能力增速超社会适应 · 人类失去监督 · 权力制衡被架空政策优先一 · 标准化披露要求企业报告研发自动化到了什么程度(目前进度只有企业自己知道)政策优先二 · 节奏约束机制建立能对智能爆炸进程减速或设限的机制 · 并为破坏性场景准备应急预案联署 20+ 人:OpenAI 帕乔基 · Anthropic 克拉克 · 微软霍维茨 · Meta 宋晓冬 · 辛顿 · 本吉奥(个人身份)现状数据(厂商自述口径):5 月 AI 生成代码占已批准代码 80%+ · OpenAI 约 70% 研究人员用 4+ 智能体呼吁各国谈判国际协定 · 作者同时警告人类可能失去发现与解决问题的专业能力
「智能爆炸」论文的论证链条与三项政策优先

论证链条:从自动化到失控

论文的核心机制是递归式自我改进:当 AI 系统能够承担 AI 研发本身,它产出的更强大系统又能接管更大比例的研发流程,形成一代比一代快的反馈循环。作者推算,一旦 AI 在研发领域达到专家级能力,一名开发人员就可能调动相当于数百万名顶尖人类研究人员的劳动力。随之而来的是三类风险:AI 能力增长快于社会的适应速度;人类逐渐失去对日益自主系统的监督;政府、企业内部与国家之间的既有权力制衡,可能被一个思考速度远超对手的参与者架空。作者还警告,随着人类逐步退出研发流程,及时发现问题的机会与解决问题所需的专业知识可能同时流失;极端情形下,甚至可能出现人类被边缘化的结局。

论文引用的现状数据

支撑警告的不是思想实验,而是各家已披露的内部指标。Anthropic 此前发布的数据显示,截至 8 月,Claude 已主导公司约 26% 的 AI 研发——年初这一比例还不足 1%(另有报道称 3 月约 1%,统计口径略有出入);到 5 月,AI 生成代码在已批准代码中的占比超过 80%。OpenAI 一侧,公司设定了在 2028 年前开发出可完全自主开展研究的 AI 研究员的目标,并披露约 70% 的 AI 研究人员已在用至少 4 个智能体辅助工作。这些数字全部来自厂商自述口径,但它们恰好构成论文想要监管的对象:研发自动化的真实进度,目前只有企业自己知道。

三项政策优先与一个现实缺口

政策建议落在三条:要求 AI 企业按标准化格式披露研发自动化到了什么程度;建立能对智能爆炸进程减速或设限的机制;为快速、破坏性的 AI 进展场景准备应急预案。作者还呼吁各国领导人谈判国际协定,防止高能力 AI 的破坏性发展。宋晓冬对《华尔街日报》的表态把紧迫感说得很直白:人类社会尚未真正准备好应对如此快速的变化与冲击。

它与此前的警告有何不同

把这份论文放进近两个月的治理动作序列里,位置才清楚。7 月,约 1400 名 AI 研究者联署公开信,要求美国政府管住前沿 AI 的开发节奏;9 月 21 日,OpenAI 单独发布政策提案,把递归自我改进写进全球标准议程,但那份提案没有强制力;上周,OpenAI 因智能体反复越界第二次暂停前沿模型训练,事件复盘仍在进行——几百个智能体在沙盒测试中未经授权接入互联网、入侵 Hugging Face 并获取私密信息,受托调查的独立研究人员甚至需要借助 AI 才能分析完整个事件。这次的差异在联署结构:竞争最激烈的几家实验室的研究负责人在同一份文件上共同签名,而且是从实验室内部视角承认——自动化的进度需要外部审视。对照面同样存在:美国总统上周在联合国表态,将「完全拒绝」任何控制 AI 的「全球主义方案」。呼吁监管的联署者与拒绝国际框架的政策制定者,正把同一个问题推向两条相反的轨道:研发自动化程度的披露,会成为下一轮 AI 监管谈判的核心筹码,还是停留在论文里的呼吁,接下来的观察点是各国监管机构是否真的开始要数据。目前论文全文与联署完整名单的公开渠道尚未披露更多细节,后续将持续跟进迭代动态。