概念Gradient Checkpointing / 激活重计算
梯度检查点
一种深度学习显存优化技术，在前向传播时只保存部分中间激活值，反向传播时重新计算其余激活值以节省显存，代价是额外的算力开销
时间轴 (近 90 天)
10月17日
梯度检查点是一种以计算换显存的技术，将显存占用从与层数成正比降低到与检查点间隔成正比。
待验证50%
10月15日
4-bit量化、梯度检查点、小规模代理模型预实验，这些手段能在排队期间把实验的GPU需求压下来，等真正拿到卡时减少试错次数。
待验证50%
9月28日
梯度检查点和混合精度训练（FP16/BF16）是常见的降存措施
待验证50%
9月21日
梯度检查点（Gradient Checkpointing）以重新计算换空间，可降低约 60-70% 的激活内存
待验证50%
9月6日
梯度检查点（Gradient Checkpointing）技术以约 33% 的额外计算开销换取约 60-70% 的显存节省
待验证50%
8月29日
梯度检查点是一种用时间换空间的策略，通常能减少60-70%的显存占用，代价是约30%的额外计算时间
待验证50%
全部知识事实 (6)
待验证
梯度检查点是一种以计算换显存的技术，将显存占用从与层数成正比降低到与检查点间隔成正比。
50%待验证4-bit量化、梯度检查点、小规模代理模型预实验，这些手段能在排队期间把实验的GPU需求压下来，等真正拿到卡时减少试错次数。
50%待验证梯度检查点和混合精度训练（FP16/BF16）是常见的降存措施
50%待验证梯度检查点（Gradient Checkpointing）以重新计算换空间，可降低约 60-70% 的激活内存
50%待验证梯度检查点（Gradient Checkpointing）技术以约 33% 的额外计算开销换取约 60-70% 的显存节省
50%待验证梯度检查点是一种用时间换空间的策略，通常能减少60-70%的显存占用，代价是约30%的额外计算时间
50%