PerSo
面向LLM社交智能评估的基准，基于Reddit ChangeMyView社区真实说服对话构建，同时评估认知智能（心理状态推断）与行为智能（说服策略选择）两个维度
时间轴 (近 90 天)
PerSo是一项用于评估LLM在真实说服场景中社交智能的新基准，数据来源于Reddit的ChangeMyView（CMV）社区。
PerSo将社交智能拆解为认知智能（推断他人心理状态的能力）和行为智能（在推断基础上选择恰当社交行动的能力）两个维度，并在同一真实场景中同时检验。
PerSo研究团队构建了一条LLM-in-the-loop的评估流水线来生成评估任务，并通过人工标注进行了验证。
在行为任务（选择恰当说服策略）上，表现最强的LLM略微超过了研究中观察到的最佳人类表现。
在认知任务（推断他人心理状态）上，最佳人类参与者仍然领先于最强LLM。
PerSo利用ChangeMyView社区的Δ机制，使得绩效高的说服策略并非研究者的主观判断，而是经过社区实践验证的，这种天然带有结果标签的对话数据在说服研究领域相当罕见。
全部知识事实 (6)
PerSo将社交智能拆解为认知智能（推断他人心理状态的能力）和行为智能（在推断基础上选择恰当社交行动的能力）两个维度，并在同一真实场景中同时检验。
50%待验证PerSo研究团队构建了一条LLM-in-the-loop的评估流水线来生成评估任务，并通过人工标注进行了验证。
50%待验证在行为任务（选择恰当说服策略）上，表现最强的LLM略微超过了研究中观察到的最佳人类表现。
50%待验证在认知任务（推断他人心理状态）上，最佳人类参与者仍然领先于最强LLM。
50%待验证PerSo利用ChangeMyView社区的Δ机制，使得绩效高的说服策略并非研究者的主观判断，而是经过社区实践验证的，这种天然带有结果标签的对话数据在说服研究领域相当罕见。
50%待验证PerSo是一项用于评估LLM在真实说服场景中社交智能的新基准，数据来源于Reddit的ChangeMyView（CMV）社区。
50%