Whisper
Whisper是由OpenAI开发并开源的自动语音识别（ASR）模型，能够将音频内容转录为文字，并支持多种语言的语音识别与翻译。该模型基于大规模多语言语音数据训练，具备较强的噪音鲁棒性，可处理多种口音和语言风格，适用于字幕生成、语音助手、会议记录等场景。
核心事实
时间轴 (近 90 天)
随着 Whisper 等开源模型和多家云厂商 API 的成熟，语音识别模型能力逐渐商品化，单点技术差距被快速抹平。
该语音栈由Qwen 3.6 35B（混合专家模型）、Whisper、Breeze TTS2（3.5B参数）和Celery VAD四个核心组件构成。
开发者通过将上下文从128K压缩到32K，使总显存占用（含Whisper）压到12GB以下，但第一版体验下用户说完话到AI开口约需10到11秒。
在 UP 主的测试中，Whisper 的 Base 模型输出为繁体中文且质量严重下降（结尾乱码），Small 模型到第 10 分钟仍连贯但存在音异错误（如将 Word2Vec 听成 WordOfTough）。
在银行领域使用Whisper生成的伪标签时，GRPO相比SFT取得了29.3%到56.2%的相对WER改进。
GRPO相对于SFT的优势在四个Whisper模型尺寸、四个教师模型家族、三个领域和四种语言上均保持一致。
本地部署Whisper完全免费，但需要GPU或较强CPU，推理速度取决于硬件。
Mistral 声称 Voxtral 3 在准确率上领先 Whisper 和 ElevenLabs，但该结论仅来自公司自家图表，尚无独立基准佐证。
Whisper 长期被视为语音转录领域的基线方案，社区形成“转录质量够用、成本可控”的默认参照。
Parakeet不支持翻译和印地语，需要这些功能的站点仍需保留Whisper。
还有 40 条时间轴事件
全部知识事实 (20)
Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
90%已验证Azure OpenAI Service为企业客户提供了在合规环境中调用GPT-4、DALL-E、Whisper等模型的能力
85%已验证多模态LLM的核心架构通常由视觉编码器（如CLIP或ViT）、跨模态对齐层和语言解码器三部分组成
80%已验证OpenAI API的核心设计以/v1/chat/completions为主端点
80%已验证Whisper的架构采用编码器-解码器结构，编码器将音频的梅尔频谱图转化为高维特征表示，解码器以自回归方式逐词生成文字输出
80%已验证Whisper提供从tiny（39M参数）到large-v3（1.5B参数）的多个规格
80%已验证语音智能体技术栈通常包含STT（如Whisper）、LLM推理、TTS（如ElevenLabs）三个串行环节
75%已验证WhisperFlow是基于OpenAI的Whisper语音识别模型构建的免费工具
70%已验证Apple 提供 Speech Framework 支持设备端语音识别，但能力主要限于转录，缺乏LLM润色环节
65%已验证Whisper 模型提供从 tiny 到 large 的多个规格，可在本地设备运行
65%已验证OpenAI 开源的 Whisper 模型有多个尺寸版本，从39M参数的tiny版本到1550M参数的large-v3版本，支持近百种语言
65%已验证Whisper虽然支持多语言识别，但在句内语码转换上的表现仍远低于单语场景
65%已验证Whisper社区衍生出whisper.cpp（可在CPU上高效运行的C/C++移植版）和faster-whisper（基于CTranslate2的加速版本）等变体
65%已验证Whisper、Wav2Vec 2.0等模型通过自监督预训练在海量无标注音频上学习通用声学表示，降低对人工标注数据的依赖
65%已验证研究表明，Whisper 在静音段产生幻觉的概率尤为突出，转录结果流畅但内容与原音不符
65%已验证OpenAI 开源的 Whisper 模型在 99 种语言上实现接近人类水平的词错率，并原生支持时间戳输出
65%已验证Whisper的量化版本（如whisper.cpp、faster-whisper）可以在消费级CPU上实时运行语音识别
65%已验证Transformers框架支持的文本模型包括GPT、BERT、LLaMA、T5等，视觉模型包括ViT、CLIP、Stable Diffusion等，音频模型包括Whisper、Wav2Vec等，多模态模型包括LLaVA、Qwen-VL等
65%已验证Whisper提供六种语言模型：tiny（3900万参数）、base（7400万）、small（2.44亿）、medium（7.69亿）、large（15.5亿）、turbo（8.09亿）
65%已验证Whisper基于Transformer编码器-解码器架构，在68万小时的多语言标注音频数据上进行弱监督训练
65%