KeyASRBench
双语ASR关键词保留率评测基准,提出基于出现次数和冻结整短语标注的关键词错误率(KER)指标,用于衡量语音识别系统对业务关键短语的整短语保留能力
时间轴 (近 90 天)
KeyASRBench是一个双语基准,用于衡量ASR系统对关键词(人名、产品名、技术术语、版本号、关系短语)的整短语保留能力。
KeyASRBench提出基于出现次数的关键词错误率(KER),在冻结的整短语标注上计算,将每个关键词出现视为独立评测单元,只有整短语完全正确才计为保留。
KeyASRBench的挑战集为10小时、模型条件化构建,包含1,501条中英文音频片段,覆盖4,723次关键词出现。
KeyASRBench评测对象包括五个本地推理的检查点和两个官方API系统,确保结果不依赖单一部署环境。
在KeyASRBench评测中,语言特定的MER/WER区间为5.31%至12.91%,而同一批系统的KER区间为13.61%至33.81%。
KeyASRBench设置了一个不相交的30分钟模型盲控制集,用于检验挑战集选择是否引入偏差。
在30分钟控制集上,KeyASRBench的KER区间为10.65%至27.31%,低于挑战集但绝对值仍显著,证明关键词错误普遍存在于真实转写中。
KeyASRBench目前覆盖中英双语和固定关键词集,控制集规模为30分钟,其价值在于提出可复现的KER框架,而非给出行业普适阈值。
全部知识事实 (8)
KeyASRBench是一个双语基准,用于衡量ASR系统对关键词(人名、产品名、技术术语、版本号、关系短语)的整短语保留能力。
50%待验证KeyASRBench提出基于出现次数的关键词错误率(KER),在冻结的整短语标注上计算,将每个关键词出现视为独立评测单元,只有整短语完全正确才计为保留。
50%待验证KeyASRBench的挑战集为10小时、模型条件化构建,包含1,501条中英文音频片段,覆盖4,723次关键词出现。
50%待验证KeyASRBench评测对象包括五个本地推理的检查点和两个官方API系统,确保结果不依赖单一部署环境。
50%待验证在KeyASRBench评测中,语言特定的MER/WER区间为5.31%至12.91%,而同一批系统的KER区间为13.61%至33.81%。
50%待验证KeyASRBench设置了一个不相交的30分钟模型盲控制集,用于检验挑战集选择是否引入偏差。
50%待验证在30分钟控制集上,KeyASRBench的KER区间为10.65%至27.31%,低于挑战集但绝对值仍显著,证明关键词错误普遍存在于真实转写中。
50%待验证KeyASRBench目前覆盖中英双语和固定关键词集,控制集规模为30分钟,其价值在于提出可复现的KER框架,而非给出行业普适阈值。
50%