共 2 篇相关文章
AlignedHPO 提出用梯度对齐和可微代理指标高效调优损失函数超参数,通过 Jacobian-vector 乘积将超梯度计算速度提升近 12 倍,在长尾分类和开集人脸识别任务上验证有效。
论文分析softmax交叉熵损失在仿射末层的多面体锥结构及ReLU主干中折痕消失的机制,结合半代数集理论与ResNet实验,揭示损失可视化中直壁盆地的成因。