待验证60% 置信解决方案精确时间

QK Normalization（对Attention中的Query和Key分别做LayerNorm）被证明能显著提升超大规模模型的训练稳定性，已被Gemma 2等模型采用

2

来源数

60%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

Soofi开源基础模型训练代码全解析：从数据到权重的完整流程

相关事实

已验证量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）70% 相似待验证针对特定领域精心训练的专用超分模型效果往往优于通用模型67% 相似待验证VQ 为每个张量的每个量化档位设置一个可训练的标量门控，冻结候选权重，仅通过一个 epoch 训练决定最优量化等级66% 相似待验证QLoRA 的核心思路是先将预训练模型以 4-bit 精度量化以降低显存占用，再仅训练少量低秩适配矩阵而不更新原始权重65% 相似待验证QAT通常需要在原始训练数据上微调10%~20%的epoch，且对学习率调度敏感65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/532363

API

curl https://kongchang.com/api/v1/knowledge/claims/532363

MCP

get_claim(id=532363)