PsyAgentBench
一个用于评估大语言模型认知偏差的基准框架，通过在LLM智能体上重新运行经典心理学实验，采用多维度因子交叉设计区分模型真实偏差与训练数据污染导致的表面效应
时间轴 (近 90 天)
PsyAgentBench 研究提出模型产生与某种心理效应相关的响应模式，与模型真正具备该偏差是两个不同命题
PsyAgentBench 研究公开了多达 41,904 次试验数据
PsyAgentBench 研究覆盖最多三个开源权重模型家族
PsyAgentBench 采用多维度因子交叉设计，包括命名vs盲测、标准版vs反事实版、人格操纵，以对抗训练数据污染
锚定效应呈现知识依赖特征：面对有据可查的事实时效应几乎为零，面对编造的数量时效应几近完全
仅添加一句人格描述指令就足以消除、削弱或反转这些认知效应
研究形式化了心理学范式移植到LLM时的三种失败途径：人格支配、群体坍缩、安全选择，其中两种得到实证记录
研究主张用单一标量的偏差易感性分数刻画LLM会掩盖结构性差异，应改用复现剖面报告结果
全部知识事实 (8)
PsyAgentBench 研究提出模型产生与某种心理效应相关的响应模式，与模型真正具备该偏差是两个不同命题
50%待验证PsyAgentBench 研究公开了多达 41,904 次试验数据
50%待验证PsyAgentBench 研究覆盖最多三个开源权重模型家族
50%待验证PsyAgentBench 采用多维度因子交叉设计，包括命名vs盲测、标准版vs反事实版、人格操纵，以对抗训练数据污染
50%待验证锚定效应呈现知识依赖特征：面对有据可查的事实时效应几乎为零，面对编造的数量时效应几近完全
50%待验证仅添加一句人格描述指令就足以消除、削弱或反转这些认知效应
50%待验证研究形式化了心理学范式移植到LLM时的三种失败途径：人格支配、群体坍缩、安全选择，其中两种得到实证记录
50%待验证研究主张用单一标量的偏差易感性分数刻画LLM会掩盖结构性差异，应改用复现剖面报告结果
50%