待验证50% 置信基准精确时间
在RTX 5090上,Muse Glimmer不使用推测解码时为75 tokens/秒,搭配推测解码模型后速度达233 tokens/秒
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/9
首次发现
有效期至:2027/1/7
来源
涉及实体
相关事实
已验证在RTX 5090上,Muse Glimmer生成速度从每秒75个Token提升到233个Token,提速约3.1倍80% 相似待验证提示处理速度上RTX 4090约3000 tokens/s,M5 Max约800 tokens/s,英伟达在长文档/代码库输入场景优势明显75% 相似待验证RTX 4090的理论FP16算力为330 TFLOPS,对于7B FP16模型的Decode实际速度通常在50-60 tokens/s74% 相似待验证在显存充足、模型完整驻留GPU时,RTX 4090跑Q4量化的27B模型通常可达15~30 tokens/s;触发CPU卸载后速度可能骤降至1~2 tokens/s甚至更低73% 相似待验证在6张RTX 5090上Colibri实测速度达9.0-9.2 token/s,在25GB开发机上从NVMe流式读取速度为0.05-0.1 token/s71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/993076API
curl https://kongchang.com/api/v1/knowledge/claims/993076MCP
get_claim(id=993076)