基准LExMem基准
LExMem
一个图引导的基准,用于评估长程探索任务中的记忆能力,其问答实例从图结构中派生,需要跨分支、追溯修订历史才能回答。
时间轴 (近 90 天)
11月5日
来自MBZUAI NLP团队的研究提出了图引导的基准LExMem和基于图的记忆框架LExGraph,用于长程探索任务中的记忆建模与评估。
待验证50%
11月5日
LExMem基准包含224段对话和2,018个问答实例,全部由图结构派生而来。
待验证50%
11月5日
LExMem基准的问答对并非人工撰写后直接配对上下文,而是从图结构中自动派生,以确保问题依赖跨分支、跨时间的记忆关联。
待验证50%
11月5日
在LExMem基准实验中,LExGraph取得了比现有基于检索和记忆的系统更优的表现,并能有效泛化到外部基准。
待验证50%
11月5日
LExMem对现有基于检索和记忆的系统构成了显著挑战。
待验证50%