待验证50% 置信权衡取舍精确时间

对INT4缓存施加块对角Hadamard变换会带来约0.20的perplexity增加，但换取缓存量化误差的下降。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

FP8预填充+INT4解码：Hopper上Llama推理新优化

涉及实体

Hadamard变换concept INT4concept

相关事实

待验证连续表示到离散token的解码是易出错的环节，嵌入空间微小偏差可能导致解码错误，量化误差在序列增长时放大66% 相似待验证多份研究表明，上下文窗口从零token扩展到256K token时，模型解决问题的准确率反而下降。65% 相似待验证Q4_K_M量化相比FP16的困惑度（Perplexity）损失通常在1%~3%以内65% 相似待验证量化误差源于将浮点数（如FP16、BF16）映射到低比特整数（如INT8、INT4）时因精度截断产生的舍入偏差65% 相似待验证在程序里，用问题原文作为键时，空格、换行、标点全角半角等细微差异都会被视为不同问题，导致缓存命中率下降或重复处理64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1065916

API

curl https://kongchang.com/api/v1/knowledge/claims/1065916

MCP

get_claim(id=1065916)