LongMemEval
长期记忆评测基准,主要测试模型在超长对话历史中定位并正确使用特定信息的能力,涵盖单跳与多跳问答场景
时间轴 (近 90 天)
在LongMemEval多跳任务上,严格recall@5表现为:5个chunk时78.8%→85.2%,10个chunk时87.2%→92.8%,20个chunk时持平。
LongMemEval是评估长程记忆能力的基准,其中多跳任务要求系统跨越多条记忆片段进行推理才能回答一个问题。
在LongMemEval多跳任务上,增加检索chunk数量能提升召回,但到20个chunk时进入平台期,说明瓶颈不在检索宽度而在词汇匹配的固有局限。
LoCoMo、LongMemEval、MemoryAgentBench 提供了可度量的 R@k、时间推理和弃答指标;OWASP Agentic ASI06 专门针对记忆与上下文投毒。
LongMemEval和LoCoMo等记忆基准测试衡量的是答案是否正确到达模型以及消耗的上下文token数,而非文档检索本身。
MemFold的主要训练场景是persona驱动的个性化任务,但能在无目标域训练的情况下迁移到PrefEval和LongMemEval
开发者声称 Hindsight 在 LongMemEval 长期记忆评测基准上达到了 state-of-the-art 水平
LongMemEval 是专门评测大型语言模型长期记忆能力的学术基准,模拟跨越数百到数千轮对话的真实场景
LongMemEval是专门用于评测LLM长期记忆能力的基准数据集,涵盖单跳事实检索、多跳推理、时间排序、矛盾检测等任务
APDMem在LongMemEval基准上进行了测试,在长上下文记忆推理任务上取得强劲表现,且仅访问了全部对话的8%
还有 8 条时间轴事件
全部知识事实 (18)
在LongMemEval多跳任务上,严格recall@5表现为:5个chunk时78.8%→85.2%,10个chunk时87.2%→92.8%,20个chunk时持平。
50%待验证LongMemEval是评估长程记忆能力的基准,其中多跳任务要求系统跨越多条记忆片段进行推理才能回答一个问题。
50%待验证在LongMemEval多跳任务上,增加检索chunk数量能提升召回,但到20个chunk时进入平台期,说明瓶颈不在检索宽度而在词汇匹配的固有局限。
50%待验证LoCoMo、LongMemEval、MemoryAgentBench 提供了可度量的 R@k、时间推理和弃答指标;OWASP Agentic ASI06 专门针对记忆与上下文投毒。
50%待验证LongMemEval和LoCoMo等记忆基准测试衡量的是答案是否正确到达模型以及消耗的上下文token数,而非文档检索本身。
50%待验证MemFold的主要训练场景是persona驱动的个性化任务,但能在无目标域训练的情况下迁移到PrefEval和LongMemEval
50%待验证开发者声称 Hindsight 在 LongMemEval 长期记忆评测基准上达到了 state-of-the-art 水平
50%待验证LongMemEval 是专门评测大型语言模型长期记忆能力的学术基准,模拟跨越数百到数千轮对话的真实场景
50%待验证LongMemEval是专门用于评测LLM长期记忆能力的基准数据集,涵盖单跳事实检索、多跳推理、时间排序、矛盾检测等任务
50%待验证APDMem在LongMemEval基准上进行了测试,在长上下文记忆推理任务上取得强劲表现,且仅访问了全部对话的8%
50%待验证LongMemEval 专注于长上下文记忆检索,要求模型在数万乃至数十万 token 的历史对话中精确定位特定事实
50%待验证在 LongMemEval 上,CTWM 实现了 24.48% 的 token 削减,同时保持整体准确率持平
50%待验证LongMemEval 主要测试模型在超长对话历史中定位并正确使用特定信息的能力,涵盖单跳与多跳问答场景
50%待验证Maximem Synap 声称在 LongMemEval 基准上达到 92% 准确率
50%待验证长程记忆评测集(如 LongMemEval、MemGPT 基准)考察五个维度:单跳信息提取、跨会话推理、知识更新、时间推理、拒答判断
50%待验证在LongMemEval基准测试中,5个chunk时BM25准确率从78.8%提升到85.2%
50%待验证在LongMemEval基准测试中,20个chunk时BM25与嵌入方案收敛于约95%准确率
50%待验证LoCoMo和LongMemEval等对话回忆基准测量的是对对话历史的问答能力,而非记忆是否改变了工具使用智能体的实际行为
50%