[控场AI]
概念memory contamination

记忆污染

Agent记忆系统中未经区分地存储和检索未验证信息导致的问题状态。当已验证事实、过时偏好和半成品分析混合存储且缺乏来源标记与时间戳优先级时,检索系统对其一视同仁,导致Agent引用过时或错误信息。

时间轴 (近 90 天)

10月20日

若某用户的历史被错误写入共享索引,可能影响其他用户的回答质量甚至造成隐私泄露。

待验证50%
10月15日

约60%的Agent幻觉事件可追溯到受污染的记忆存储,而非模型本身出错。

待验证50%
10月14日

记忆污染指错误一旦进入长期记忆会被反复强化,例如错误税率填写被当作正确样本写入记忆后,Agent 会倾向沿用同样错误。

待验证50%
10月14日

缓解记忆污染的手段包括给记忆条目加上来源标记、时间戳和人工确认状态,定期回放历史案例做记忆体检,以及在业务规则变更时触发相关记忆失效。

待验证50%
8月30日

记忆污染是自进化记忆系统面临的严峻挑战,Agent可能将错误信息固化为知识并在后续决策中反复引用形成错误正反馈循环

待验证50%
8月30日

业界应对记忆污染的解决方案包括为记忆附加置信度评分和来源追溯、引入记忆审计机制、设置记忆自动衰减策略以及多数据源交叉验证

待验证50%

全部知识事实 (6)

来源文章