待验证50% 置信事实精确时间
方案采用GSQ-RCO混合量化策略，按张量分配位宽，IQ3S档位平均约3.5bit
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit67% 相似待验证该项目采用混合精度量化策略：稠密层使用8比特，专家层使用4比特，KV缓存采用8比特量化66% 相似待验证该配置实现了262K超长上下文、KV Cache Q4量化和MTP投机采样三项优化，将24GB显存利用率压榨到99%66% 相似已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内66% 相似待验证GGUF、AWQ等量化格式能将数百亿参数模型压缩至消费级GPU可运行的体积，同时保持接近原版的性能65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/978626API
curl https://kongchang.com/api/v1/knowledge/claims/978626MCP
get_claim(id=978626)