[控场AI]
模型Earlybird 语音识别模型

Earlybird

一种预测式流式语音识别模型,采用随机截断音频训练,能在说话人说完词之前输出完整词预测,并给出置信度校准。

时间轴 (近 90 天)

11月11日

Earlybird 是一个 29M 参数的语音转文字模型,能在说话者说完每个词之前约 90 毫秒正确预测出该词,并为每个词附带置信度。

待验证50%
11月11日

Earlybird 模型体积为 17 MB,完全端侧运行,并开放权重与代码。

待验证50%
11月11日

Earlybird 目前在 Product Hunt 上获得 71 票、排名第 18。

待验证50%
11月11日

提前预测出的词如果被后续音频推翻,系统需要处理回退,这对下游应用的容错设计提出了新要求。

待验证50%
11月11日

在参数规模与延迟之间,存在一条不同于“堆大模型”的路径。

待验证50%
11月11日

Earlybird 最直接的受益者是构建实时语音代理的团队,包括客服机器人、语音助手、实时字幕、会议转录等场景。

待验证50%
11月11日

Earlybird 对正在说的词给出的置信度经过校准,期望校准误差(ECE)在 3.7 到 5.5 之间。

待验证50%
11月11日

ECE 在 3.7 到 5.5 之间意味着当模型给出 80% 置信度时,实际正确率大约在 74.5% 到 76.3% 之间。

待验证50%
11月11日

Earlybird 是一个仅 29M 参数的流式语音识别模型,4 比特量化后大小为 16.8 MB。

待验证50%
11月11日

目前公开信息集中在识别质量与出词时序上,Earlybird 的多语种支持、噪声环境下的表现以及实际端到端延迟还需要更多独立评测验证。

待验证50%

还有 6 条时间轴事件

全部知识事实 (16)

待验证

Earlybird 是一个 29M 参数的语音转文字模型,能在说话者说完每个词之前约 90 毫秒正确预测出该词,并为每个词附带置信度。

50%
待验证

Earlybird 模型体积为 17 MB,完全端侧运行,并开放权重与代码。

50%
待验证

Earlybird 目前在 Product Hunt 上获得 71 票、排名第 18。

50%
待验证

提前预测出的词如果被后续音频推翻,系统需要处理回退,这对下游应用的容错设计提出了新要求。

50%
待验证

在参数规模与延迟之间,存在一条不同于“堆大模型”的路径。

50%
待验证

Earlybird 最直接的受益者是构建实时语音代理的团队,包括客服机器人、语音助手、实时字幕、会议转录等场景。

50%
待验证

Earlybird 对正在说的词给出的置信度经过校准,期望校准误差(ECE)在 3.7 到 5.5 之间。

50%
待验证

ECE 在 3.7 到 5.5 之间意味着当模型给出 80% 置信度时,实际正确率大约在 74.5% 到 76.3% 之间。

50%
待验证

Earlybird 是一个仅 29M 参数的流式语音识别模型,4 比特量化后大小为 16.8 MB。

50%
待验证

目前公开信息集中在识别质量与出词时序上,Earlybird 的多语种支持、噪声环境下的表现以及实际端到端延迟还需要更多独立评测验证。

50%
待验证

Earlybird 适合对响应延迟敏感的语音 agent 场景,用户话还没说完系统就可以准备下一步动作。

50%
待验证

Earlybird 的训练方式是从随机截断的音频中学习,要求模型输出到截断点为止所有应出现的完整词,并额外预测接下来的两个词。

50%
待验证

Earlybird 对每个词(包括正在说的词)都输出原始 token 概率,可作为置信度使用。

50%
待验证

在六个测试集(覆盖有声书、TED 演讲、公开演讲、财报电话会和合成语音)上,Earlybird 都是最早出词的模型。

50%
待验证

在有声书数据上,Earlybird 对多数词能在词结束前正确预测,而对比模型的这一比例在个位数到两成多之间。

50%
待验证

在八个英语 Open ASR Leaderboard 测试集上,Earlybird 每个集都优于 Moonshine Tiny,并与同尺寸的 Whistle 大致持平。

50%

来源文章