Whisper
Whisper是由OpenAI开发并开源的自动语音识别（ASR）模型，能够将音频内容转录为文字，并支持多种语言的语音识别与翻译。该模型基于大规模多语言语音数据训练，具备较强的噪音鲁棒性，可处理多种口音和语言风格，适用于字幕生成、语音助手、会议记录等场景。
核心事实
时间轴 (近 90 天)
工程团队可以先用 DoRA 针对目标语言优化模型，再叠加 Token Merging 获取效率收益
该研究在 Whisper 模型家族上评估了 16 种不同语言和 3 种不同模型尺寸
Whisper 推理时序列长度通常固定为 30 秒窗口对应的 1500 个 token
Whisper 音频先被转换为 80 维梅尔频谱图，经卷积层下采样后送入编码器生成特征序列，再由解码器以自回归方式逐 token 输出文本
Whisper 由 OpenAI 于 2022 年发布，采用编码器-解码器 Transformer 架构
Nari宣称的性能指标主要来自项目方自述，尚缺乏基准测试数据和与Whisper等主流方案的横向对比
Whisper是编码器-解码器（encoder-decoder）结构
研究选用了三类ASR架构：MMS（纯编码器）、Whisper（编码器-解码器）和Qwen3-ASR（基于大语言模型）
受益于Whisper等大规模多语言ASR模型及Transformer架构翻译模型，AI字幕翻译端到端延迟可控制在1-3秒以内
Speechmark 实现离线运行依托于 Apple Silicon 芯片的神经网络引擎以及 Whisper 等开源语音识别模型的轻量化优化
还有 30 条时间轴事件
全部知识事实 (20)
Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
80%已验证语音识别技术经历了从隐马尔可夫模型（HMM）到循环神经网络（RNN）再到端到端模型的演进
70%已验证OpenAI 开源的 Whisper 模型有多个尺寸版本，从39M参数的tiny版本到1550M参数的large-v3版本，支持近百种语言
65%已验证faster-whisper通过将Whisper模型转换为CTranslate2格式，在保持准确率基本不变前提下推理速度可提升约4倍
65%已验证OpenAI 开源的 Whisper 模型在 99 种语言上实现接近人类水平的词错率，并原生支持时间戳输出
65%已验证Azure OpenAI Service为企业客户提供了在合规环境中调用GPT-4、DALL-E、Whisper等模型的能力
65%已验证Whisper基于Transformer编码器-解码器架构，在68万小时的多语言标注音频数据上进行弱监督训练
65%已验证OpenAI开源的Whisper是本地化ASR方案的代表，可在消费级GPU上实时处理音频
65%已验证OpenAI 于 2022 年发布 Whisper，基于 Transformer 编码器-解码器架构，编码器处理 80 维 Mel 频谱图
65%部分验证OpenAI's Whisper speech recognition engine has achieved near-human-level recognition accuracy.
75%待验证OpenAI Whisper large-v3模型支持99种语言，中文识别词错率约5-8%（清晰音源），是目前开源方案的准确率天花板
75%待验证视频包装环节使用Code Agent，可调用FFmpeg、MoviePy等视频处理库和Whisper语音识别模型自动生成字幕
70%待验证Speechmark 实现离线运行依托于 Apple Silicon 芯片的神经网络引擎以及 Whisper 等开源语音识别模型的轻量化优化
60%待验证Whisper 音频先被转换为 80 维梅尔频谱图，经卷积层下采样后送入编码器生成特征序列，再由解码器以自回归方式逐 token 输出文本
50%待验证该研究在 Whisper 模型家族上评估了 16 种不同语言和 3 种不同模型尺寸
50%待验证Whisper 由 OpenAI 于 2022 年发布，采用编码器-解码器 Transformer 架构
50%待验证Whisper 推理时序列长度通常固定为 30 秒窗口对应的 1500 个 token
50%待验证工程团队可以先用 DoRA 针对目标语言优化模型，再叠加 Token Merging 获取效率收益
50%待验证Nari宣称的性能指标主要来自项目方自述，尚缺乏基准测试数据和与Whisper等主流方案的横向对比
50%待验证研究选用了三类ASR架构：MMS（纯编码器）、Whisper（编码器-解码器）和Qwen3-ASR（基于大语言模型）
50%