[控场AI]
模型WhisperX ASR

WhisperX

基于OpenAI Whisper模型的增强版本,引入强制对齐机制,能将转写文本中每个词精确对齐到音频时间轴,精度达毫秒级,适用于临床语音分析等高精度场景

时间轴 (近 90 天)

10月12日

一张24GB显存的RTX 3090同时运行Whisper ASR、TTS语音模型和nomic-embed-text三个服务时,三个模型常驻占用17.8GB(72%),一周内峰值达到23.4GB,全程没有溢出到系统内存

待验证50%
10月12日

Whisper ASR (large-v3) 7天平均显存约7.7GB,峰值约10.3GB

待验证50%
10月12日

一周内有六个不同的调用方命中Whisper端点,Whisper是占用显卡时间最多的消费者,自建助手核心经whisper代理占用4970秒

待验证50%
10月1日

该研究提出的自动估算VFI系统采用WhisperX作为语音识别引擎,提供词级时间对齐

待验证50%
9月19日

强制对齐(Forced Alignment)是给定音频和对应文本转录、自动计算每个词在音频时间轴上精确起止时间戳的技术,方向与ASR相反,通常比ASR更快更准

待验证50%

全部知识事实 (5)

来源文章