待验证50% 置信事实精确时间
7B AWQ模型在batch 32时3090已落后于L40S（0.71x），而7B fp16直到batch 128才被反超（0.72x），说明量化模型使计算瓶颈更早出现。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证在27B混合架构、4B稠密模型、36B MoE三类模型上以8k上下文测试，Prefill阶段性能无变化，Decode阶段打补丁后快约1.4%64% 相似待验证对于Qwen2.5-1.5B模型，batch-1解码的int4理论roofline上限为411.8 tok/s，而实际自研内核仅达到25.5 tok/s，存在约16倍的差距。63% 相似待验证7-8B 是lx工具的最低门槛，llama3.1:8b 和 qwen2.5:7b 表现良好，14B级别模型基本能达到云端API效果62% 相似待验证Mistral 7B证明精心训练的7B模型可以匹敌早期的13B甚至30B模型62% 相似待验证用4B模型对BM25筛出的候选短名单做重排序，效果优于单纯的BM25(+0.047，置信区间[0.020, 0.073])，尽管该4B重排器本身未通过合格认证61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1061231API
curl https://kongchang.com/api/v1/knowledge/claims/1061231MCP
get_claim(id=1061231)