待验证50% 置信事实精确时间

长上下文推理会在GPU显存中积累大量注意力矩阵，当上下文窗口接近模型最大长度限制时显存消耗会急剧攀升，导致内存溢出（OOM）

1

来源数

50%

置信度

长期有效

时效性

2026/9/2

首次发现

来源

ChatGPT思考910分钟不停？长任务卡死背后的真相与应对

涉及实体

Attention Matrixconcept OOMconcept

相关事实

待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长78% 相似已验证注意力机制的计算复杂度随上下文窗口长度呈平方级增长，导致推理延迟与成本急剧上升78% 相似待验证超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升77% 相似待验证多头自注意力机制突破了RNN/LSTM在长序列处理中因梯度消失导致的遗忘瓶颈，并支持GPU/TPU大规模并行计算75% 相似待验证当提示词过长时，大模型会出现'注意力爆炸'现象，即输入太长导致有效信息丢失72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/843200

API

curl https://kongchang.com/api/v1/knowledge/claims/843200

MCP

get_claim(id=843200)