概念软剪枝方法
软剪枝
给每个功能单元乘上介于0和1之间缩放系数的剪枝方式,模型仍可端到端训练且梯度可顺畅流动,系数趋近0时等效于剪掉该单元
时间轴 (近 90 天)
10月15日
优化目标是在多个稀疏度目标下同时最小化模型在软剪枝状态下的损失,使模型一次性学会在多种压缩比例下平滑退化。
待验证50%
给每个功能单元乘上介于0和1之间缩放系数的剪枝方式,模型仍可端到端训练且梯度可顺畅流动,系数趋近0时等效于剪掉该单元
优化目标是在多个稀疏度目标下同时最小化模型在软剪枝状态下的损失,使模型一次性学会在多种压缩比例下平滑退化。