待验证50% 置信解决方案精确时间

VQ 训练中逐步退火 tau 参数，并用 Softmax 保证所有量化档位持续接收梯度

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

Voodoo Dynamic Quant开源：用梯度下降优化模型量化

涉及实体

Voodoo Dynamic Quantproduct Softmaxconcept

相关事实

待验证VQ 为每个张量的每个量化档位设置一个可训练的标量门控，冻结候选权重，仅通过一个 epoch 训练决定最优量化等级78% 相似待验证构造包含计数、空间关系、细粒度属性的训练数据可以缓解VLM预训练阶段的先天不足67% 相似已验证量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）65% 相似已验证混合精度训练和梯度累积等技术可以在有限GPU内存下训练更大模型64% 相似待验证GPTQ 和 AWQ 都属于训练后量化（Post-Training Quantization），无需重新训练模型，只需少量校准数据64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/922080

API

curl https://kongchang.com/api/v1/knowledge/claims/922080

MCP

get_claim(id=922080)