待验证50% 置信事实精确时间
IQ1_M 是 llama.cpp 系列中一种约 1 bit 级的极限量化格式(M 表示混合精度),专为在有限显存中塞下大参数模型而设计,代价是输出质量下降和循环风险。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
用Ghidra逆向CUDA推理引擎,RTX 3090提速12%
rss2026/10/16
涉及实体
相关事实
待验证IQ系列是llama.cpp中针对极低比特率(2-3 bit)场景的量化方案,引入了基于重要性矩阵的非均匀量化网格、向量量化和更精细的超块结构71% 相似待验证IQ4_XS是llama.cpp生态中的一种非均匀4-bit量化格式,在量化块内使用更精细的缩放因子分配策略69% 相似待验证llama.cpp支持从Q2_K到Q8_0等多种量化等级,以及基于重要性矩阵(imatrix)的IQ系列量化65% 相似已验证llama.cpp是一个纯C/C++实现的推理框架,支持CPU推理和极低比特量化(如4-bit、2-bit),可在笔记本电脑甚至树莓派上运行LLM60% 相似待验证IQ3 属于 GGUF 格式下的非均匀量化方案,由 llama.cpp 社区发展而来,相较于早期 Q3_K 等均匀量化方式在同等压缩比下能更好保留关键权重59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042899API
curl https://kongchang.com/api/v1/knowledge/claims/1042899MCP
get_claim(id=1042899)