自动语音识别
将人类语音自动转换为文本的技术,是语音处理和自然语言处理的核心子领域,广泛应用于语音助手、字幕生成、语音评测等场景
时间轴 (近 90 天)
转录文本驱动剪辑的技术难点在于时间戳对齐精度:ASR输出的词级时间戳可能存在数十到数百毫秒误差。
音近词混淆(homophone confusion)是自动语音识别(ASR)系统中的经典难题,像 spell 与 smell 这类音素接近的词,在缺乏语义或任务上下文时几乎无法仅凭声音区分。
主流ASR系统通常依赖数千乃至数万小时的人工标注音频才能达到可用精度
半监督联邦学习(SSFL)利用服务端上的少量带标注种子数据训练初始模型,再借助教师模型为客户端海量未标注数据生成伪标签,从而在不上传原始语音的前提下优化模型
语音识别的输出是序列,伪标签的错误会在整条输出序列上累积,一个位置的识别偏差可能带动后续token的连锁误判
ASR场景中教师模型通常是基于CTC或注意力机制(Attention-based Encoder-Decoder)的端到端语音识别模型
一篇arXiv论文(arXiv:2609.12122)提出用声学掩蔽配合自动语音识别(ASR)模型来自动量化每个辅音对词语可懂度的贡献度
研究方法通过每次静音掉词中的一个辅音,测试ASR模型是否还能正确识别该词
MMR衡量的是机器是否还能识别,而非人类听者是否还能听懂,ASR模型识别行为与真人感知存在系统性差异
AI实时字幕翻译通常分两层技术:先由ASR模型将语音转为源语言文本,再由NMT模型翻译为目标语言
还有 2 条时间轴事件
全部知识事实 (12)
转录文本驱动剪辑的技术难点在于时间戳对齐精度:ASR输出的词级时间戳可能存在数十到数百毫秒误差。
50%待验证音近词混淆(homophone confusion)是自动语音识别(ASR)系统中的经典难题,像 spell 与 smell 这类音素接近的词,在缺乏语义或任务上下文时几乎无法仅凭声音区分。
50%待验证主流ASR系统通常依赖数千乃至数万小时的人工标注音频才能达到可用精度
50%待验证半监督联邦学习(SSFL)利用服务端上的少量带标注种子数据训练初始模型,再借助教师模型为客户端海量未标注数据生成伪标签,从而在不上传原始语音的前提下优化模型
50%待验证语音识别的输出是序列,伪标签的错误会在整条输出序列上累积,一个位置的识别偏差可能带动后续token的连锁误判
50%待验证ASR场景中教师模型通常是基于CTC或注意力机制(Attention-based Encoder-Decoder)的端到端语音识别模型
50%待验证一篇arXiv论文(arXiv:2609.12122)提出用声学掩蔽配合自动语音识别(ASR)模型来自动量化每个辅音对词语可懂度的贡献度
50%待验证研究方法通过每次静音掉词中的一个辅音,测试ASR模型是否还能正确识别该词
50%待验证MMR衡量的是机器是否还能识别,而非人类听者是否还能听懂,ASR模型识别行为与真人感知存在系统性差异
50%待验证AI实时字幕翻译通常分两层技术:先由ASR模型将语音转为源语言文本,再由NMT模型翻译为目标语言
50%待验证自动语音识别在专业术语、多说话人、口音等场景下仍可能出错,直接影响检索质量
50%待验证YouTube的自动语音识别(ASR)系统能为绝大多数视频生成时间戳精确对齐的字幕,提供视频帧-语音文本的细粒度时序对齐
50%