社交智能为什么难评
当大模型被放进心理咨询、陪伴聊天、教育辅导这类需要「和人打交道」的场景，一个长期被泛泛而谈、却很少被严谨度量的是：它的社交智能到底如何。现有的评测大多支离破碎——要么盯着某个孤立能力，要么只在一个单一场景里测一次，而且评测本身是否可靠，也长期缺乏验证。EMNLP 2026 录用的 SocialArena 想做的，正是把「社交智能」从一句口号，变成一套可定义、可比较、可信赖的基准。
三层框架加一套合成场景的方法
论文先建立一套统一的三层框架，把社交智能沿三个能力维度定义清楚：角色扮演能力（能不能稳住人设与立场）、心理状态推理（能不能推断对方在想什么、感受什么）、行为推理（能不能预判并在互动中调整自己的行为）。为了让这套定义真正可操作，作者设计了一种带显式角色思考的对话范式，让模型在回答时露出它的「内心活动」，从而能同时评估上述三种能力，且尽量贴近真人的互动方式。
紧接着要解决的是「场景太窄」的问题：如果只在少数几个情境里测，结论很容易被特定语境绑架。为此论文引入 U-TRIMF 框架，用来指导合成出覆盖面很广的社交语境，让评测不局限于某几类对话。换言之，模型不是在一个固定剧本里被考，而是在一大片不同的社会关系与情境里被反复观察。
花真金白银做的「人类竞技场」
这一步是 SocialArena 和其他基准最不一样的地方。为了让评测结果可信，论文投入 13.24 万美元招募并培训人类标注者，采用一种竞技场式（arena-style）协议：给标注者摆出模型 A 和模型 B 的回答，让他们直接比较孰优孰劣，并给出偏好标签，以及一段自然语言的点评，说明好在哪、差在哪。这种方式不再依赖单一模型的自动打分，而是把「人觉得谁更会社交」摆到了台面上，也顺带把评测的可靠性做了人工校准。
从方法论看，这其实是在用真实互动替代单点能力测试：一个模型可能在某道选择题上拿高分，但在有来有回、需要揣摩对方心思的多轮对话里露怯。SocialArena 想捕捉的，正是后一种差距。
它量出了什么
在一系列前沿大模型上的实验，揭示出它们在社交智能上存在明显差距。论文没有把结论停留在「某模型更强」的排行榜层面，而是指向一个更值得警惕的事实：当前前沿模型在角色扮演、心理推理、行为推理这三类能力上并不均衡，而面向人的应用恰恰需要这三者协同。对做陪伴、咨询、教育类产品的团队来说，这意味着不能只看通用跑分，还要针对「会不会好好和人相处」单独验证。
为什么值得关注：评测从单点能力走向真实互动
过去一年，大模型基准的重点多落在推理、数学、代码等可自动判分的硬指标上；社交智能这类「软能力」因为难量化，长期被边缘化。SocialArena 的意义在于，它用一套能分解的框架加一套肯花钱做人工校准的协议，把这块软能力拉进了可比较的版图，也给后续研究提供了可复用的评测脚手架。
更广义地看，当模型越来越多地进入人和人、人和模型交织的社交场景，能否稳妥地处理关系、揣摩意图、调整行为，会直接决定产品是否可用、可信。SocialArena 这类基准的出现，说明评测范式正在从「单点能力考试」走向「真实互动观察」——而这恰恰是大模型下一步落地到日常陪伴与协作时，最该被认真对待的一课。