待验证50% 置信解决方案精确时间

QK-Norm通过对Q/K向量做归一化动态约束L2范数来限制logit量级，是大模型训练稳定性的重要进展

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

从零训练2亿参数大模型：踩坑实录与工程经验

涉及实体

相关事实

待验证量化感知训练(QAT)让模型保留全精度权重副本，每次前向传播练习舍入操作，学会在极端压缩下的权重分布80% 相似待验证反向KL散度D(q||p)倾向于让q集中在p的单个峰值上（mode-seeking），常用于生成模型训练75% 相似待验证QLoRA论文提出的NF4针对预训练权重服从正态分布的特性设计了最优量化格点70% 相似待验证DQN的理论基础是Q-learning，一种无模型强化学习算法，核心是学习Q函数Q(s,a)表示状态s下执行动作a的期望累积折扣奖励68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/912660

API

curl https://kongchang.com/api/v1/knowledge/claims/912660

MCP

get_claim(id=912660)