待验证50% 置信基准精确时间
三级缓存使Q4权重下生成速度从每秒1.83个token提升到8.89个，提升接近5倍
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证在259k吞吐量下Qwen3.5速度提升约19倍，其中混合注意力贡献约5倍、MoE稀疏化约2倍、多Token预测约1.5倍79% 相似待验证投机解码在候选token接受率较高时每次前向传播有效输出token可达2~4个，整体生成速度提升1.5x~3x72% 相似待验证通过allreduce融合优化，Qwen3-Next模型实现了吞吐量提升71.4%，并将首个Token延迟（TTFT）从456ms压缩至168ms70% 相似已验证GGUF量化格式（如Q4_K_M）通过将权重精度从32位浮点压缩到4位整数，通常只带来约1-5%的性能损失70% 相似待验证将 INT4 权重重新量化为 NF4 会使每个权重经历两次舍入，官方测得这会让 Qwen3-8B 的困惑度上升 1.6%69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978657API
curl https://kongchang.com/api/v1/knowledge/claims/978657MCP
get_claim(id=978657)