上下文长度
大语言模型在一次推理中能处理的 token 数量上限，决定了模型可参考的上下文信息量，是影响 AI 编程工具行为效果的关键因素
时间轴 (近 90 天)
Codex 运行时卡在“重新连接”死循环的常见原因是 Ollama 默认上下文长度为 32K，将其改为 16K 或 8K 可提升代理速度。
一个7B模型在32K上下文下，内存占用可能接近一个更大模型在短上下文下的水平。
传统模型的上下文长度通常只有4K到32K，超过则模型会遗忘。
上下文长度越长，对显存和内存的占用也越大。
模型读不懂过于复杂的结构，或上下文太长时表现变差，是今天的能力下限；该方法还不能在所有场景运行，但那个下限不是方法的永久边界。
上下文长度指模型一次能记住的 token 数量，从 4000 到 64000 的跨度意味着长文档处理能力和显存占用会同步放大。
上下文长度指模型单次请求能容纳的 token 总量，包含输入与输出；超出上限时不同服务处理方式不同，有的直接报错，有的静默截断。
上下文长度的显存消耗随长度增加呈近似平方级增长，因注意力机制需维护 KV Cache 存储历史 Token 中间状态
上下文超过128K之后推理速度会大幅下降，原因是KV缓存体积膨胀及注意力计算时间复杂度随序列长度平方级增长
全部知识事实 (9)
Codex 运行时卡在“重新连接”死循环的常见原因是 Ollama 默认上下文长度为 32K，将其改为 16K 或 8K 可提升代理速度。
50%待验证一个7B模型在32K上下文下，内存占用可能接近一个更大模型在短上下文下的水平。
50%待验证传统模型的上下文长度通常只有4K到32K，超过则模型会遗忘。
50%待验证上下文长度越长，对显存和内存的占用也越大。
50%待验证模型读不懂过于复杂的结构，或上下文太长时表现变差，是今天的能力下限；该方法还不能在所有场景运行，但那个下限不是方法的永久边界。
50%待验证上下文长度指模型一次能记住的 token 数量，从 4000 到 64000 的跨度意味着长文档处理能力和显存占用会同步放大。
50%待验证上下文长度指模型单次请求能容纳的 token 总量，包含输入与输出；超出上限时不同服务处理方式不同，有的直接报错，有的静默截断。
50%待验证上下文长度的显存消耗随长度增加呈近似平方级增长，因注意力机制需维护 KV Cache 存储历史 Token 中间状态
50%待验证上下文超过128K之后推理速度会大幅下降，原因是KV缓存体积膨胀及注意力计算时间复杂度随序列长度平方级增长
50%