[控场AI]
概念OOM / Out of Memory

显存溢出

GPU显存不足以容纳模型权重、激活值或KV Cache导致任务中断的故障,训练中多由批次过大或序列变长引起

时间轴 (近 90 天)

10月18日

显存溢出(OOM)在训练中多由批次过大、序列变长或中间激活值累积引起;推理阶段则常因并发请求数上升、KV Cache随上下文长度线性增长而触发。

待验证50%

全部知识事实 (1)

来源文章