待验证50% 置信事实精确时间

上下文窗口扩展技术如RoPE的NTK-aware缩放、ALiBi、Ring Attention将上下文长度从早期的4K推进到了128K甚至数百万token级别

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/8/31

首次发现

有效期至：2026/11/29

来源

LLM记忆系统如何演变为程序分析工具：一次意外的技术发现

涉及实体

RoPEtechnology ALiBitechnology Ring Attentiontechnology

相关事实

待验证GPT-4的上下文窗口从8K扩展到128K乃至百万级别，上下文窗口越大每次调用消耗的令牌越多67% 相似已验证YaRN通过频率域插值和注意力缩放扩展窗口，LongRoPE通过识别位置编码中的非均匀冗余实现更高效扩展，可将有效上下文从4K、8K扩展至128K乃至百万级token62% 相似待验证128K长度的序列所需的注意力计算量是4K长度序列的1024倍62% 相似待验证128K上下文窗口的注意力矩阵规模是32K窗口的16倍62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/829518

API

curl https://kongchang.com/api/v1/knowledge/claims/829518

MCP

get_claim(id=829518)