[控场AI]
概念Peak Memory

峰值内存

训练一步中显存占用的最高水位,通常由激活值、梯度与优化器状态共同决定;对Transformer类模型,序列越长、参与计算的token越多,激活占用越大。

来源文章