待验证50% 置信解决方案精确时间

QK Normalization（对Attention中的Query和Key分别做LayerNorm）被证明能显著提升超大规模模型的训练稳定性，已被Gemma 2等模型采用

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

Soofi开源基础模型训练代码全解析：从数据到权重的完整流程

相关事实

待验证层归一化（Layer Normalization）在训练过程中稳定各层的数值范围70% 相似已验证量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）70% 相似待验证VersatIL 支持量化感知训练（QAT）和训练后量化，借助 torchao 实现65% 相似待验证QAT通常需要在原始训练数据上微调10%~20%的epoch，且对学习率调度敏感65% 相似待验证微软BitNet等研究表明，若从预训练阶段采用1Bit量化感知训练（QAT），精度损失可控，而事后量化（PTQ）损失通常更大64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/532363

API

curl https://kongchang.com/api/v1/knowledge/claims/532363

MCP

get_claim(id=532363)