WhisperX
基于OpenAI Whisper模型的增强版本,引入强制对齐机制,能将转写文本中每个词精确对齐到音频时间轴,精度达毫秒级,适用于临床语音分析等高精度场景
时间轴 (近 90 天)
一张24GB显存的RTX 3090同时运行Whisper ASR、TTS语音模型和nomic-embed-text三个服务时,三个模型常驻占用17.8GB(72%),一周内峰值达到23.4GB,全程没有溢出到系统内存
Whisper ASR (large-v3) 7天平均显存约7.7GB,峰值约10.3GB
一周内有六个不同的调用方命中Whisper端点,Whisper是占用显卡时间最多的消费者,自建助手核心经whisper代理占用4970秒
该研究提出的自动估算VFI系统采用WhisperX作为语音识别引擎,提供词级时间对齐
强制对齐(Forced Alignment)是给定音频和对应文本转录、自动计算每个词在音频时间轴上精确起止时间戳的技术,方向与ASR相反,通常比ASR更快更准
全部知识事实 (5)
一张24GB显存的RTX 3090同时运行Whisper ASR、TTS语音模型和nomic-embed-text三个服务时,三个模型常驻占用17.8GB(72%),一周内峰值达到23.4GB,全程没有溢出到系统内存
50%待验证Whisper ASR (large-v3) 7天平均显存约7.7GB,峰值约10.3GB
50%待验证一周内有六个不同的调用方命中Whisper端点,Whisper是占用显卡时间最多的消费者,自建助手核心经whisper代理占用4970秒
50%待验证该研究提出的自动估算VFI系统采用WhisperX作为语音识别引擎,提供词级时间对齐
50%待验证强制对齐(Forced Alignment)是给定音频和对应文本转录、自动计算每个词在音频时间轴上精确起止时间戳的技术,方向与ASR相反,通常比ASR更快更准
50%