Unverified50% confidenceBenchmarkExact time
在M1及以上芯片上，whisper.cpp运行base模型的实时因子（RTF）可达0.1以下，即处理速度是实时的10倍以上
1
Sources
50%
Confidence
Long-term
Relevance
8/6/2026
First Seen
Sources
Related Claims
Unverified将模型权重从FP16压缩到INT8或INT4的量化技术，可使消费级GPU如RTX 4090在本地部署时达到30-80 TPS的实用速度68% similarUnverifiedWhisper small模型约有244M参数，在消费级CPU上即可流畅运行67% similarUnverifiedDeepSeek V4 Flash在OpenModel平台的速率限制为每分钟10次请求（10 RPM）和每分钟100K tokens（100K TPM）65% similarUnverifiedMemStitch声称通过「零拷贝上下文桥接」技术为vLLM带来高达25倍的TTFT提速65% similarUnverifiedGemma量化模型在高性能笔记本电脑上Token生成速度可达每秒20-50个，纯CPU推理约5-15 tokens/秒，INT4量化下NVIDIA RTX 4060/4070可将推理速度提升3-5倍65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/692837API
curl https://kongchang.com/api/v1/knowledge/claims/692837MCP
get_claim(id=692837)