待验证50% 置信事实精确时间
Kaiming 初始化(He 初始化)令方差正比于输入维度倒数的两倍,专为 ReLU 及其变体设计。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证He初始化针对ReLU及其变体,将方差缩放为Xavier的两倍。66% 相似待验证He初始化针对ReLU激活函数设计,通过将权重方差设为2/n来保证各层激活值方差稳定59% 相似待验证Xavier 初始化(Glorot, 2010)和 He 初始化(He et al., 2015)基于高斯分布或均匀分布,通过设计方差分别为 1/n 和 2/n(n 为输入维度)来维持梯度稳定流动56% 相似待验证Xavier初始化由Glorot于2010年提出,He初始化由He等人于2015年提出,两者的方差分别设计为1/n和2/n(n为输入维度)55% 相似待验证Muon优化器由Kosson等研究者提出,核心改进在于对梯度更新矩阵进行正交化处理51% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1027617API
curl https://kongchang.com/api/v1/knowledge/claims/1027617MCP
get_claim(id=1027617)