记忆压缩如何误导LLM群体决策？新基准揭示两大失败模式

当多个大语言模型（LLM）组成小组进行讨论，并将讨论压缩成一段简短记忆供最终决策者使用时，记忆应该保留哪些信息？直觉上，我们可能选择最稀有的主张或与决策标准最相关的主张。然而，一项新研究显示，这两种启发式策略在隐藏剖面任务中都会系统性地失败。

隐藏剖面任务：稀有性与相关性的混淆

隐藏剖面任务常用于研究群体决策：每个成员掌握部分独特信息，只有充分交换才能做出正确判断。在这类任务中，一个事实被多少成员持有（稀有性）与其是否有帮助（相关性）往往纠缠在一起。研究者构建了CrossProfile基准，包含60个模板，答案键自动验证，通过交叉支持性、诱饵和无关事实的归属，同时保持文本固定，生成了480个任务。

隐藏剖面（Hidden Profile）是群体决策研究的经典范式，最早由Stasser与Titus在1985年提出。其核心设定是：团队中每位成员在讨论前掌握的信息集并不相同，一部分有利于最优方案的信息被“隐藏”地分散在少数成员手中，而所有成员共享的信息则往往指向一个次优方案。因此，群体若要做出正确决策，必须让持有独特信息的成员主动披露并充分讨论，否则讨论会围绕共享信息反复强化，导致群体反而比个体更容易做出错误判断。这一现象揭示了群体讨论中“信息采样偏差”的普遍存在。在LLM多智能体场景下，隐藏剖面任务被用来检验模型群体是否具备整合分散证据的能力，以及记忆压缩机制是否会放大共享信息、压制独特信息。

两种启发式策略的失败模式

在Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek^广告模型上测试发现，按相关性选择会重新引入诱饵——因为诱饵本就切题。即使完美的相关性过滤器，在经典隐藏剖面配置中，也比最稀有优先选择低23到31分。而最稀有优先选择平均而言并不比随机选择更好，只有在稀有事实恰好有用时才会胜出。

诱饵事实（decoy fact）指在文本表面上与决策标准高度相关、但实际上会误导判断的信息。在隐藏剖面任务中，诱饵通常被设计为切题却指向错误答案，因此基于相关性的记忆筛选会把它们优先保留下来。交叉支持性（cross-supportiveness）则描述某一事实被多个成员分别提及、相互印证的程度；它与事实本身的真伪无关，只反映群体内的分布结构。CrossProfile基准通过控制交叉支持性、诱饵和无关事实的归属，使稀有性与相关性在统计上解耦，从而能够单独检验每种启发式策略的失效来源。

决策模型的第三条失败路径：社会证明

即使记忆保留了正确的事实，决策模型也会引入第三种失败：它对社会证明敏感，会给予归属于多个智能体的事实额外权重。移除归属标签，或在保持行序不变的情况下随机重新分配标签，在经典配置中可将准确率提升13到24分。

社会证明（social proof）指个体在不确定情境下倾向于相信多数人或他人行为所传递的信号。在LLM群体决策中，当记忆条目附带“由哪个智能体提出”的归属标签时，决策模型会把被多个智能体重复提及的事实视为更可信，即使这种重复只是信息分布造成的假象。归属标签因此成为一种虚假的共识线索，使模型对社会证明敏感。移除标签或随机重分配标签之所以能提升准确率，正是因为它切断了事实内容与提出者身份之间的虚假关联，迫使决策模型依据事实本身而非“有多少人说过”来做出判断。

自然讨论中证据在记忆之前就已丢失

更令人担忧的是，在自然讨论中，证据在记忆发挥作用之前就已经丢失：完整转录文本的准确率甚至低于完全没有笔记的情况。这意味着群体讨论本身可能未能有效整合信息。

完整转录文本指保留讨论全过程的逐轮记录，而非压缩后的摘要记忆。在理想情况下，完整转录应包含所有成员披露的独特信息，理应优于压缩笔记。但实验发现其准确率甚至低于无笔记，说明问题并非出在记忆压缩环节，而是出在讨论生成环节本身：模型在自然对话中可能未能有效引出、复述或保留少数派持有的关键证据，导致这些信息在进入记忆之前就已经从对话流中消失。这一结果把失败归因从“记忆策略”前移到“讨论协议”，提示需要设计更能激发信息披露的对话机制。

对LLM群体决策系统设计的启示

这些发现对构建多智能体决策系统具有直接意义。简单地压缩讨论记录并不可靠；记忆策略需要更精细的设计，避免稀有性和相关性的混淆，同时减少社会证明偏见。CrossProfile基准为诊断这些问题提供了工具，未来工作需探索更鲁棒的记忆机制。

据原文数据，两种启发式策略的失败模式在不同模型上表现一致，表明这是普遍性问题而非模型特异性缺陷。