待验证50% 置信事实精确时间

量化后的GGUF权重以块为单位存储，每个块包含缩放因子和若干低比特整数，推理时需要先反量化再参与矩阵乘法。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

Vibecoding自研推理引擎：理想丰满，现实骨感

redditr/LocalLLaMA2026/10/23

涉及实体

相关事实

待验证分组量化将权重矩阵按固定大小（通常32或64个元素）分组，每组独立计算量化缩放因子以减少精度损失78% 相似待验证潜因子分解的思路是假设权重矩阵存在冗余和低秩结构，用一组更小的潜因子加上索引或组合方式重建原始权重76% 相似待验证矩阵乘法在批量大的推理场景下通常是算力受限，而批量为1的自回归解码时几乎必然是带宽受限73% 相似待验证K-quant 系列引入了分块量化策略，对权重矩阵中不同的 block 使用不同的缩放参数以减少量化误差73% 相似待验证低秩分解与量化压缩维度正交互补，对小矩阵A和B分别量化误差更小，叠加压缩比可达单一方法数倍71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1090637

API

curl https://kongchang.com/api/v1/knowledge/claims/1090637

MCP

get_claim(id=1090637)