待验证50% 置信基准精确时间
Gemma开源模型通过vLLM在A100上实现了2.85倍的端到端推理加速,吞吐量从约37,900 tokens/秒提升至超过108,000 tokens/秒,且保持100% token一致性和零质量下降。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至:2027/1/11
来源
涉及实体
相关事实
待验证用2840亿参数的DeepSeek V4 Flash实测,token生成从37提升到53 tokens/s(约1.5倍),Prompt Processing从483跃升到1485 tokens/s(约三倍)69% 相似待验证OpenTPU 运行 LFM 2.5 230M 模型可达到约 59 tokens/秒,在 4-bit 量化下提升到 85.8 tokens/秒68% 相似待验证名为 Nori 的 LLM 推理项目宣称实现了每秒超过 100 万 token 的处理吞吐(1M tok/s)68% 相似待验证在相同机器和模型下,低功耗模式与高功耗模式的解码速度差1.4到3.8倍;例如Ollama跑Qwen 3.5 35B,低功耗51.9 tokens/s,高功耗107.1 tokens/s67% 相似待验证开发者Primitive报告:关闭推测时为91.2 tokens/s,开启3个推测token后达到142.6 tokens/s,同一配置下约提速56%67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1019785API
curl https://kongchang.com/api/v1/knowledge/claims/1019785MCP
get_claim(id=1019785)