概念OOM / Out of Memory
显存溢出
GPU显存不足以容纳模型权重、激活值或KV Cache导致任务中断的故障,训练中多由批次过大或序列变长引起
时间轴 (近 90 天)
10月18日
显存溢出(OOM)在训练中多由批次过大、序列变长或中间激活值累积引起;推理阶段则常因并发请求数上升、KV Cache随上下文长度线性增长而触发。
待验证50%
GPU显存不足以容纳模型权重、激活值或KV Cache导致任务中断的故障,训练中多由批次过大或序列变长引起
显存溢出(OOM)在训练中多由批次过大、序列变长或中间激活值累积引起;推理阶段则常因并发请求数上升、KV Cache随上下文长度线性增长而触发。