Earlybird
一种预测式流式语音识别模型,采用随机截断音频训练,能在说话人说完词之前输出完整词预测,并给出置信度校准。
时间轴 (近 90 天)
Earlybird 是一个 29M 参数的语音转文字模型,能在说话者说完每个词之前约 90 毫秒正确预测出该词,并为每个词附带置信度。
Earlybird 模型体积为 17 MB,完全端侧运行,并开放权重与代码。
Earlybird 目前在 Product Hunt 上获得 71 票、排名第 18。
提前预测出的词如果被后续音频推翻,系统需要处理回退,这对下游应用的容错设计提出了新要求。
在参数规模与延迟之间,存在一条不同于“堆大模型”的路径。
Earlybird 最直接的受益者是构建实时语音代理的团队,包括客服机器人、语音助手、实时字幕、会议转录等场景。
Earlybird 对正在说的词给出的置信度经过校准,期望校准误差(ECE)在 3.7 到 5.5 之间。
ECE 在 3.7 到 5.5 之间意味着当模型给出 80% 置信度时,实际正确率大约在 74.5% 到 76.3% 之间。
Earlybird 是一个仅 29M 参数的流式语音识别模型,4 比特量化后大小为 16.8 MB。
目前公开信息集中在识别质量与出词时序上,Earlybird 的多语种支持、噪声环境下的表现以及实际端到端延迟还需要更多独立评测验证。
还有 6 条时间轴事件
全部知识事实 (16)
Earlybird 是一个 29M 参数的语音转文字模型,能在说话者说完每个词之前约 90 毫秒正确预测出该词,并为每个词附带置信度。
50%待验证Earlybird 模型体积为 17 MB,完全端侧运行,并开放权重与代码。
50%待验证Earlybird 目前在 Product Hunt 上获得 71 票、排名第 18。
50%待验证提前预测出的词如果被后续音频推翻,系统需要处理回退,这对下游应用的容错设计提出了新要求。
50%待验证在参数规模与延迟之间,存在一条不同于“堆大模型”的路径。
50%待验证Earlybird 最直接的受益者是构建实时语音代理的团队,包括客服机器人、语音助手、实时字幕、会议转录等场景。
50%待验证Earlybird 对正在说的词给出的置信度经过校准,期望校准误差(ECE)在 3.7 到 5.5 之间。
50%待验证ECE 在 3.7 到 5.5 之间意味着当模型给出 80% 置信度时,实际正确率大约在 74.5% 到 76.3% 之间。
50%待验证Earlybird 是一个仅 29M 参数的流式语音识别模型,4 比特量化后大小为 16.8 MB。
50%待验证目前公开信息集中在识别质量与出词时序上,Earlybird 的多语种支持、噪声环境下的表现以及实际端到端延迟还需要更多独立评测验证。
50%待验证Earlybird 适合对响应延迟敏感的语音 agent 场景,用户话还没说完系统就可以准备下一步动作。
50%待验证Earlybird 的训练方式是从随机截断的音频中学习,要求模型输出到截断点为止所有应出现的完整词,并额外预测接下来的两个词。
50%待验证Earlybird 对每个词(包括正在说的词)都输出原始 token 概率,可作为置信度使用。
50%待验证在六个测试集(覆盖有声书、TED 演讲、公开演讲、财报电话会和合成语音)上,Earlybird 都是最早出词的模型。
50%待验证在有声书数据上,Earlybird 对多数词能在词结束前正确预测,而对比模型的这一比例在个位数到两成多之间。
50%待验证在八个英语 Open ASR Leaderboard 测试集上,Earlybird 每个集都优于 Moonshine Tiny,并与同尺寸的 Whistle 大致持平。
50%