待验证50% 置信基准精确时间
在 Amazon EC2 P5en 实例搭配 AWS EFA 的基准测试中，推送式 KV 传输方案实现了高达 3 倍的 TTFT（首令牌时间）改善。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/19
首次发现
有效期至：2026/11/2
来源
涉及实体
相关事实
已验证主流量化方案包括GPTQ（训练后量化）、AWQ（激活感知权重量化）和GGUF格式（llama.cpp使用，适合CPU推理）59% 相似待验证针对 Gemma 4 等滑动窗口模型，新增了 TurboQuant KV 缓存和 KV 缓存量化59% 相似待验证vLLM的`fp8` KV缓存格式对应E4M3，并提供三种校准方式：不校准（缩放因子默认1.0）、随机token预热、以及通过llm-compressor做数据集校准。58% 相似待验证GPTQ、AWQ、SqueezeLLM等主流量化方法在4-bit精度下仍能保持接近原始模型95%以上的性能58% 相似待验证FP8主要有E4M3（4位指数+3位尾数）和E5M2（5位指数+2位尾数）两种子格式，分别针对前向传播和反向传播优化57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070047API
curl https://kongchang.com/api/v1/knowledge/claims/1070047MCP
get_claim(id=1070047)