待验证50% 置信事实精确时间
Score Centering在极端量化场景下(如8-bit权重、4-bit KV缓存)仍能保持稳定,而其他方法则出现崩溃。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/26
首次发现
有效期至:2027/1/24
来源
Hugging Face Journal Club:Score Centering如何稳定离线强化学习
youtubeHugging Face2026/10/26
涉及实体
相关事实
待验证上下文量化选择 Q8_0 意味着在 KV Cache 上保留更高精度,对推理质量的影响往往比权重量化更显著72% 相似待验证KV缓存复用可以减少重复计算,算子融合与量化(如INT8/FP16)可以降低单次推理开销。71% 相似已验证KV Cache(键值缓存)机制通过缓存自注意力层生成的 Key 和 Value 向量来避免重复计算以加速推理,但上下文越长需驻留显存的向量越多,内存压力呈近线性增长68% 相似已验证KV缓存随上下文长度线性增长,增加解码阶段每步的内存读取量,是解码速度随上下文增大而下降的根本原因67% 相似待验证KVarN在量化前对每个通道进行方差归一化(除以标准差),使各通道数值落入相似范围后再进行均匀量化,反量化时乘回标准差恢复67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1101003API
curl https://kongchang.com/api/v1/knowledge/claims/1101003MCP
get_claim(id=1101003)