[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Peak Memory
峰值内存
训练一步中显存占用的最高水位,通常由激活值、梯度与优化器状态共同决定;对Transformer类模型,序列越长、参与计算的token越多,激活占用越大。
来源文章
DPO计算图随机剪枝:训练加速1.4倍、峰值内存更低
10月22日