[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
He 初始化
Kaiming 初始化
一种针对 ReLU 及变体激活函数设计的权重初始化方法,令权重方差正比于输入维度倒数的两倍,以补偿 ReLU 半区为零导致的方差逐层减半问题
来源文章
AnyInit:自定义深度学习架构的自动权重初始化工具
10月14日