待验证50% 置信事实精确时间

128K上下文窗口的注意力矩阵规模是32K窗口的16倍

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

Context Warp Drive：AI智能体确定性上下文折叠详解

hackernewshackernews2026/7/7

相关事实

待验证128K长度的序列所需的注意力计算量是4K长度序列的1024倍73% 相似待验证170k tokens场景下，注意力得分矩阵在BF16精度下约需54GB显存（170000×170000×2字节）73% 相似待验证GPT-4的上下文窗口从8K扩展到128K乃至百万级别，上下文窗口越大每次调用消耗的令牌越多70% 相似已验证当前主流模型的上下文窗口约为128K至100万Token70% 相似待验证序列长度为4096时，N×N注意力矩阵在FP16精度下仅此一项就消耗约64MB显存68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/294258

API

curl https://kongchang.com/api/v1/knowledge/claims/294258

MCP

get_claim(id=294258)