OpenAI于11月20日发布药物化学推理基准MedChemBench,用99道题检验模型能否把分子结构与实验证据关联、解释结果、对比化合物并预测性质。题目取自117篇论文与专利,含761个分子结构,按结构、推理、排序和数值预测四项计分。

在超高推理档,GPT-6.2 Astra得84.5%,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。结构重建一项Astra得95.4%,但化合物筛选与数值预测约只得一半。OpenAI称题目取自历史文献,无法排除模型见过源材料,分数不能证明模型能发现新药。

信息来源