事件:顶刊在线发表,清华 11 月 2 日发布成果
10 月 29 日,清华大学生物医学工程学院周洪宇课题组(AIMS Lab)联合国内外多家学术机构在《自然·通讯》(Nature Communications)在线发表论文,系统比较大型推理模型(LRM)与标准大语言模型在真实病历临床诊断中的表现;清华大学 11 月 2 日发布成果介绍。这是该课题组今年 6 月在《自然·生物医学工程》提出「医学推理智能」(MRAI)理念后的实证研究。
研究团队基于 MIMIC-IV 与 eICU 两个公开临床数据库构建长文本诊断推理基准 AIMS-LDR,病历平均长度约 2657 个 token,明显长于现有常用医学评测集;选取 6 个主流模型(商用与开源均有),每个模型在思考与非思考两种模式下测试,覆盖 12 个临床专科。由于比较的是同一模型的两种工作模式,差异可以直接归因于推理过程本身。
核心发现:更准、更不稳、假阳性更多
准确性上推理模式优势稳定:LDR-MIMIC 上主要诊断平均准确率 52.8%,比非推理模式的 38.7% 高 14.1 个百分点;独立数据集 LDR-eICU 上同样复现(35.1% 对 28.9%)。鉴别诊断 top-10 覆盖率最高达 84.3%(非推理最佳 72.6%);给出临床无关预测的比例 32.8%,低于非推理模式的 45.0%。
代价同样清晰。其一是可重复性下降:同一病历独立重复诊断三次,推理模式主要诊断一致率平均仅 52.3%,非推理模式为 69.0%;把采样温度设为 0 消除随机性后差距依旧(55.8% 对 78.6%),说明不一致源自推理链本身——长推理链条中任何一步的细微差异都可能被逐步放大。其二是假阳性增多:要求给出全部高优先级诊断时,推理模式精确匹配准确率反而略低(9.1% 对 10.9%),平均每例产生 1.47 个假阳性诊断,非推理模式为 1.09 个,增幅 34.8%;利用 GPT-5 可调推理强度做对照,推理强度从低到高,准确率上升的同时每例假阳性由 0.92 个增至 1.31 个,呈清晰的剂量-反应关系。研究还估算了下游负担:推理模式关联的综合负担指数比非推理模式高 17.3%。
解法与边界:AI 先行、医生把关
团队招募 15 名不同年资全科医生,围绕呼吸、循环、代谢三类疾病各 50 个病例验证「AI 先行、医生把关」:先由推理模型(GPT-5)给出诊断建议与推理过程,医生审阅后作最终判断。结果医生主要诊断准确率平均提升约 20%(初级与中年资医生分别为 20.1% 与 19.7%),复核后假阳性分别降低 43.6% 与 44.0%。但复核有代价:审阅含完整推理过程的病例平均需 15–20 分钟,仅看精简结论只需 5–8 分钟。团队提示本研究为回顾性评估、医生实验提供了统一候选诊断列表,进入临床前仍需前瞻性验证。
怎么读:医学 AI 的评价指标该换了
这项研究的价值在于把一个被忽视的变量摆上台面:单次评测分数最高的模型,未必是临床上最可靠的模型。推理能力的收益与风险同时出现,且难以通过调整参数消除。对正在部署辅助诊断系统的医院而言,重复一致率、假阳性统计与复核时间应与准确率一起进入选型与验收清单——这也是同期行业解读(如医观潮 10 月 31 日深度稿)把该研究与微软《科学》SDBench 论文对读时反复强调的口径:准确率是模型自己的账,一致性、假阳性和采纳留痕才是医院的账。