KeyASRBench：ASR关键词保留率的新衡量标尺

公开的语音识别基准测试不断刷新低错误率纪录，但生产环境中的ASR系统依然普遍依赖热词表、上下文偏置、检索增强和后处理校正。这种反差引出一个关键问题：转写文本是否真的保留了那些对业务至关重要的关键词——人名、产品名、技术术语、版本号和关系短语？KeyASRBench正是为回答这个问题而设计的双语基准。

从WER到KER：指标视角的切换

传统ASR评测以词错误率（WER）或混合错误率（MER）为核心，衡量的是整体转写与参考文本的编辑距离。这种指标对均匀分布的识别错误敏感，却无法反映关键词的“全有或全无”特性：一个产品型号错一个字符，整条短语就失去检索价值，但在WER上只贡献微小增量。

KeyASRBench提出基于出现次数的关键词错误率（KER），在冻结的整短语标注上计算。所谓“冻结”，是指关键词短语的边界和内容在评测前固定，避免模型通过上下文重新切分来规避错误。KER将每一个关键词出现视为独立评测单元，统计其是否被完整保留，从而直接量化“整短语保留”能力。

词错误率（WER）是ASR领域最基础的评测指标，计算方式为替换、删除、插入错误的总和除以参考文本的词数。它假设每个词的错误权重相同，因而对整体识别质量有较好的概括力。但在关键词场景下，这种均匀加权会稀释关键短语错误的严重性：一个由五个词组成的产品名，即使只错一个词，整条短语的检索价值归零，而WER只增加1/5个错误。混合错误率（MER）则在WER基础上把标点、大小写等格式差异也纳入统计，但同样无法区分关键词与非关键词。KER的设计正是为了弥补这一盲区：它以关键词出现为独立单元，只有整短语完全正确才计为保留，否则计为错误，从而把“部分正确”视为“完全失败”，更贴近下游任务对精确匹配的要求。

数据集与评测设计

KeyASRBench的挑战集为10小时、模型条件化构建，包含1,501条中英文音频片段，覆盖4,723次关键词出现。评测对象包括五个本地推理的检查点和两个官方API系统，确保结果不依赖单一部署环境。

在指标层面，语言特定的MER/WER区间为5.31%至12.91%，而同一批系统的KER区间为13.61%至33.81%。两个区间的差距说明，整体错误率低的系统未必能可靠保留关键词——KER揭示的是被平均指标掩盖的结构性短板。

研究团队还设置了一个不相交的30分钟模型盲控制集，用于检验挑战集选择是否引入偏差。控制集上的KER为10.65%至27.31%，虽然较挑战集略低，但绝对值仍然显著，证明所选短语的错误并非挑战集筛选造成的假象，而是普遍存在于真实转写中。

上下文偏置（contextual biasing）是生产ASR系统中常用的技术，其核心是在解码阶段引入一个外部词表或短语列表，通过调整语言模型得分或使用浅层融合（shallow fusion）等方式，提高这些特定词序列的识别概率。热词表是上下文偏置的一种简化形式，通常只包含关键词列表而不区分权重。检索增强（retrieval augmentation）则是在识别后或识别中，从外部知识库检索相关文本片段，辅助语言模型进行重打分或纠错。这些技术之所以必要，正是因为通用ASR模型在训练数据中罕见的关键词上容易出错。KeyASRBench的KER指标恰好为评估这些技术的实际收益提供了量化工具：在引入偏置前后分别计算KER，可以直观看出关键词保留能力的提升幅度，而WER的变化往往微乎其微。

对生产系统的启示

KER与WER之间的系统性差距，解释了为何工业界在低WER时代仍大量投入热词和上下文偏置。对于需要精确匹配的场景——客服工单中的产品型号、医疗记录中的药品名、法律文书中的当事人姓名——KER比WER更能反映下游任务的真实风险。

这一基准也提示评测方法需要更新：仅报告整体错误率会掩盖关键词层面的失败模式，而整短语标注和出现次数加权的设计，为衡量“可用性”提供了更贴近业务的可操作指标。

局限与后续方向

作为试点，KeyASRBench目前覆盖中英双语和固定关键词集，控制集规模为30分钟。其价值在于提出可复现的KER框架，而非给出行业普适阈值。后续工作可将该框架扩展到更多语种和领域，并探索关键词权重与业务影响的映射关系。