[控场AI]
基准

KeyASRBench

双语ASR关键词保留率评测基准,提出基于出现次数和冻结整短语标注的关键词错误率(KER)指标,用于衡量语音识别系统对业务关键短语的整短语保留能力

时间轴 (近 90 天)

11月10日

KeyASRBench是一个双语基准,用于衡量ASR系统对关键词(人名、产品名、技术术语、版本号、关系短语)的整短语保留能力。

待验证50%
11月10日

KeyASRBench提出基于出现次数的关键词错误率(KER),在冻结的整短语标注上计算,将每个关键词出现视为独立评测单元,只有整短语完全正确才计为保留。

待验证50%
11月10日

KeyASRBench的挑战集为10小时、模型条件化构建,包含1,501条中英文音频片段,覆盖4,723次关键词出现。

待验证50%
11月10日

KeyASRBench评测对象包括五个本地推理的检查点和两个官方API系统,确保结果不依赖单一部署环境。

待验证50%
11月10日

在KeyASRBench评测中,语言特定的MER/WER区间为5.31%至12.91%,而同一批系统的KER区间为13.61%至33.81%。

待验证50%
11月10日

KeyASRBench设置了一个不相交的30分钟模型盲控制集,用于检验挑战集选择是否引入偏差。

待验证50%
11月10日

在30分钟控制集上,KeyASRBench的KER区间为10.65%至27.31%,低于挑战集但绝对值仍显著,证明关键词错误普遍存在于真实转写中。

待验证50%
11月10日

KeyASRBench目前覆盖中英双语和固定关键词集,控制集规模为30分钟,其价值在于提出可复现的KER框架,而非给出行业普适阈值。

待验证50%

全部知识事实 (8)

来源文章