PerSo：LLM社交智能在真实说服场景中的新基准

社交智能一直是衡量AI能否真正融入人类社会交互的关键标尺。大型语言模型（LLM）在各类考试和推理任务上的表现已经令人瞩目，但当它们面对真实的人际说服场景时，能否准确推断对方的心理状态，并据此选择恰当的说服策略？一项名为PerSo的新研究，正是为了回答这个问题。

什么是社交智能？认知与行为的双重要求

研究将社交智能拆解为两个相互关联的方面。认知智能（cognitive intelligence）指的是推断他人心理状态的能力——理解对方在想什么、感受如何、为何持有某种立场。行为智能（behavioral intelligence）则是在这些推断基础上，选择恰当社交行动以实现社交目标的能力。

说服场景天然地同时激活了这两种能力。要说服一个人改变观点，你不仅需要理解他的立场背后的情感和逻辑，还需要在恰当的时机说出恰当的话。此前的研究通常将这两个维度分开评估，且多依赖合成场景，与现实世界的人际互动存在明显距离。PerSo的突破之处在于，它将两个维度放在同一个真实场景中同时检验。

真实数据来自ChangeMyView社区

PerSo的数据来源是Reddit上著名的ChangeMyView（CMV）社区。这个社区的用户会发布自己的观点，并真诚邀请他人从不同角度进行说服。社区规则要求回帖者必须提供有深度的论证，而非简单反驳。这种自然形成的说服对话，为评估LLM的社交智能提供了高质量的素材。

研究团队构建了一条LLM-in-the-loop的评估流水线来生成评估任务，并通过人工标注进行了验证。这意味着评估任务既具备规模化生成的可能，又经过了人类判断的质量把关。

LLM-in-the-loop 是一种半自动化的评估数据构建范式：由大语言模型承担初筛、改写、候选选项生成、难度分层等重体力环节，人类专家则负责最终的标注、校正和质量把关。相比纯人工构建，它能把基准的规模提升几个数量级；相比纯自动生成，它又通过人工复核避免了合成数据常见的分布偏移与事实错误。在 PerSo 中，这一流水线的作用是把 CMV 社区中大量非结构化、口语化的说服对话，转换为格式统一、可自动评分的认知题与行为题——例如从原帖中抽取 OP 的真实立场与情绪线索构造心理推断题，再从真实回复中抽取有效说服策略作为行为题的正解。正因为环节中嵌入了人类判断，PerSo 才能在保持规模优势的同时，被用作可靠的评测基准。

评估结果：规模提升有帮助，但维度表现分化

研究对不同LLM进行了测试，结果呈现出几个值得关注的规律。

性能随模型规模增长，但并非均匀提升

整体来看，模型性能随参数规模的增长而提升。这一趋势在认知任务和行为任务上都存在，但提升幅度在不同维度上并不一致。这意味着单纯扩大模型规模，并不能保证社交智能的各个方面同步改善。

最强LLM在行为任务上略超最佳人类表现

在行为任务——即选择恰当说服策略——上，表现最强的LLM略微超过了研究中观察到的最佳人类表现。这是一个值得注意的里程碑，说明LLM在策略选择层面已经达到了相当高的水平。

认知任务上人类仍保持领先

然而在认知任务——即推断他人心理状态——上，最佳人类参与者仍然领先于最强LLM。这一差距提示，理解他人内心世界的能力，可能仍然是当前AI系统的一个薄弱环节。

认知智能与行为智能的评估方式有本质差异，这也在一定程度上解释了为何两者的表现会分化。认知任务通常要求模型输出对他人心理状态的推断结果，例如判断 OP 持有某立场是出于身份认同、被伤害的经历还是信息缺失，其答案往往有相对明确的"正确"参照，可以直接与人类标注比对。行为任务则要求模型在若干候选说服策略中做出选择，答案空间更结构化，模型只需具备对说服套路（如诉诸共情、指出逻辑漏洞、提供反例）的识别与匹配能力即可得分。换言之，行为任务更接近模式识别与策略检索，而认知任务更依赖对隐含语境、情绪与意图的深层建模。这一区分解释了为什么 LLM 能在行为维度超越人类，却在认知维度落后——前者可从海量文本中习得，后者则依赖难以从语料中直接蒸馏的心智理论能力。

这项基准意味着什么

PerSo的价值不仅在于提供了一个新的评估工具，更在于它揭示了一个容易被忽视的事实：社交智能不是单一维度的能力，而是一组相互关联但发展不均衡的技能集合。LLM可以在行为层面表现得非常出色，甚至超越人类，但在认知推断层面仍有不足。

对于AI应用开发者而言，这意味着在构建涉及人际交互的系统时，不能仅凭模型的整体表现来判断其社交能力。一个在策略选择上表现优异的模型，可能在理解用户真实意图时仍然犯错。PerSo提供了一个更精细的评估框架，帮助研究者定位模型的具体短板。

对于关注AI对齐和人机协作的研究者来说，PerSo也提出了一个更深层的问题：当AI能够选择有效的说服策略，但未必真正理解对方的心理状态时，这种说服能力的伦理意涵是什么？这个问题的答案，可能比基准分数本身更值得深思。

ChangeMyView 社区本身的设计也值得关注。该社区强制要求回帖者在回应 OP 时，必须"直接挑战其观点"而非人身攻击，且设有一项特殊机制：当 OP 认为某条回复成功改变了自己的想法时，可以回复 Δ（delta）标记。这一机制使得"是否成功说服"有了可追溯的公开信号，也让研究者能够区分哪些说服策略在真实互动中确实有效。PerSo 正是利用了这一点——绩效高的策略并非研究者的主观判断，而是经过社区实践验证的。这种天然带有结果标签的对话数据，在说服研究领域相当罕见，也是 PerSo 相比以往依赖实验室情景或合成对话的基准更具生态效度的重要原因。