11月22日,OpenAI 首席科学家 Jakub Pachocki 发文,主张把困惑度(等价于交叉熵损失)确立为跨模型开发者比较和形成共同安全标准的指标,并公开内部预训练数据:GPT-3.5 的对数困惑度约 0.99,GPT-4 约 0.91,到约 0.76 时模型开始产出突破性数学结果。

他据此外推,困惑度进入约 0.68 至 0.7 区间时会有进一步能力跃迁,但无法预判是何种能力,并提议开发者约定在监控手段达到具体里程碑前不越过基于困惑度的共同上限。文章也承认跨实验室数据集不同、困惑度不直接对应可执行任务两点难处。该提议为单方立场,无合作方与实施日期。

信息来源