PHANTOM-Bench
用于量化多智能体LLM系统中「幻影共识」现象的基准测试,通过分阶段设计区分最终一致性与一致的真实性,评估社会信号对集体决策的扭曲程度。
时间轴 (近 90 天)
研究者推出了专门用于量化幻影共识的基准测试PHANTOM-Bench。
PHANTOM-Bench将决策过程拆解为多个可独立观测的阶段:孤立私下判断、模糊社会信号后的公开决策、对群体私下判断的估计、透明度恢复、控制条件。
实验覆盖了九个闭源与开源模型,模糊的公开信号会持续降低决策质量,并能将原本正确的群体私下判断扭转为错误的公开集体结果。
在最具易感性的设置中,公开准确率下降幅度高达47.8个百分点。
在最具易感性的设置中,集体理性失败率达到47.3%。
模型在报告群体私下信念时出现大量错误,公开阶段的失败与信念估计的失真同时存在。
不同模型对模糊信号与显式同伴信号的敏感程度并不相同,幻影共识并非单一机制,而是多种社会推理缺陷的叠加。
研究建议多智能体决策系统的开发者在架构中保留私下判断的记录与可见性,并在评估指标中纳入对群体信念估计准确性的考察。
全部知识事实 (8)
研究建议多智能体决策系统的开发者在架构中保留私下判断的记录与可见性,并在评估指标中纳入对群体信念估计准确性的考察。
50%待验证PHANTOM-Bench将决策过程拆解为多个可独立观测的阶段:孤立私下判断、模糊社会信号后的公开决策、对群体私下判断的估计、透明度恢复、控制条件。
50%待验证实验覆盖了九个闭源与开源模型,模糊的公开信号会持续降低决策质量,并能将原本正确的群体私下判断扭转为错误的公开集体结果。
50%待验证在最具易感性的设置中,公开准确率下降幅度高达47.8个百分点。
50%待验证在最具易感性的设置中,集体理性失败率达到47.3%。
50%待验证模型在报告群体私下信念时出现大量错误,公开阶段的失败与信念估计的失真同时存在。
50%待验证不同模型对模糊信号与显式同伴信号的敏感程度并不相同,幻影共识并非单一机制,而是多种社会推理缺陷的叠加。
50%待验证研究者推出了专门用于量化幻影共识的基准测试PHANTOM-Bench。
50%