待验证50% 置信事实精确时间

Xavier 初始化（Glorot, 2010）和 He 初始化（He et al., 2015）基于高斯分布，通过设计方差（分别为 1/n 和 2/n，n 为输入维度）保证每层输出方差与输入一致

1

来源数

50%

置信度

长期有效

时效性

2026/9/1

首次发现

来源

从零编码机器学习概率分布：高斯、Beta、Gamma分布实践指南

涉及实体

Xavier 初始化concept He 初始化concept Glorotperson

相关事实

待验证Xavier初始化适用于Sigmoid或Tanh等饱和激活函数，根据输入输出维度调整方差范围71% 相似待验证主流权重初始化方法如 He 初始化、Xavier 初始化均假设输入数据大致服从零均值分布62% 相似待验证格利文科-坎泰利定理保证随着样本量增大，经验分布函数一致收敛到真实分布函数58% 相似待验证许多现代 embedding 模型会对输出做归一化，向量集中分布在高维球面锥形区域，任意两个embedding的余弦相似度通常落在偏正区间（如0.2到0.9）58% 相似已验证混合专家架构MoE通过稀疏激活机制，推理时只激活模型总参数的1/8至1/457% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/834062

API

curl https://kongchang.com/api/v1/knowledge/claims/834062

MCP

get_claim(id=834062)