[控场AI]
基准MERLIN Benchmark

MERLIN

多语言多模态实体链接基准,覆盖印地语、印尼语、日语、泰米尔语和越南语五种语言,用于评估实体链接系统的跨语言泛化能力

时间轴 (近 90 天)

10月28日

MERLIN能同时在Gated DeltaNet和Mamba-2上生效,验证了其架构无关的设计主张。

待验证50%
10月28日

在LongBench多个子任务上,MERLIN在Mamba-2-780M上提升12.0%。

待验证50%
10月28日

MERLIN甚至超越了消耗4倍内存的基线方法。

待验证50%
10月28日

MERLIN的当前实验集中在1.3B和780M参数级别的模型上,更大规模模型上的表现仍有待观察。

待验证50%
10月28日

MSLA在聚合各记忆状态信息时仅依赖查询与每个片段键之间的平均对齐度,忽略对齐度在片段内部的分布情况。

待验证50%
10月28日

MERLIN同时追踪每个片段键的一阶矩和二阶矩,使查询能恢复与每个片段对齐度的均值和方差。

待验证50%
10月28日

MERLIN是一种简单且通用的路由机制,不依赖特定架构,可嵌入不同的MSLA变体。

待验证50%
10月28日

矩追踪只需维护少量统计量,计算开销远低于逐位置精确计算对齐度分布。

待验证50%
10月28日

MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。

待验证50%
10月28日

在RULER needle-in-a-haystack和长上下文问答任务上,MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。

待验证50%

还有 4 条时间轴事件

全部知识事实 (14)

待验证

MERLIN能同时在Gated DeltaNet和Mamba-2上生效,验证了其架构无关的设计主张。

50%
待验证

在LongBench多个子任务上,MERLIN在Mamba-2-780M上提升12.0%。

50%
待验证

MERLIN甚至超越了消耗4倍内存的基线方法。

50%
待验证

MERLIN的当前实验集中在1.3B和780M参数级别的模型上,更大规模模型上的表现仍有待观察。

50%
待验证

MSLA在聚合各记忆状态信息时仅依赖查询与每个片段键之间的平均对齐度,忽略对齐度在片段内部的分布情况。

50%
待验证

MERLIN同时追踪每个片段键的一阶矩和二阶矩,使查询能恢复与每个片段对齐度的均值和方差。

50%
待验证

MERLIN是一种简单且通用的路由机制,不依赖特定架构,可嵌入不同的MSLA变体。

50%
待验证

矩追踪只需维护少量统计量,计算开销远低于逐位置精确计算对齐度分布。

50%
待验证

MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。

50%
待验证

在RULER needle-in-a-haystack和长上下文问答任务上,MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。

50%
待验证

在LongBench多个子任务上,MERLIN在Gated DeltaNet-1.3B上提升13.5%。

50%
待验证

该框架在MERLIN基准上整体准确率相较当前最先进水平提升6.9%

50%
待验证

该框架在稀有实体切片上的准确率提升最高达到23.3%

50%
待验证

MERLIN是一个多语言多模态实体链接基准,覆盖印地语、印尼语、日语、泰米尔语和越南语五种语言

50%

来源文章