待验证50% 置信事实精确时间

Mistral模型家族采用滑动窗口注意力，每一层使用4096 token的窗口大小

1

来源数

50%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

稀疏注意力论文如何粉饰实验结果？四大套路深度揭秘

涉及实体

Mistralmodel Sliding Window Attentionconcept

相关事实

已验证滑动窗口注意力让每个 token 只关注固定窗口内的上下文，复杂度降为 O(n·w)，w 为窗口大小70% 相似待验证Laguna S 2.1 使用 12 层全局注意力 + 36 层滑动窗口注意力的混合方案，支持 1,048,576 Token（约 100 万）上下文窗口62% 相似待验证当时较大的模型上下文窗口也只有数万个token60% 相似待验证固定长度切片按token数截断，通常配合10到20%滑动窗口重叠，chunk size一般设置在256到512 token59% 相似待验证上下文窗口从128K扩展到1M时，注意力计算量理论上增长约60倍58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/827311

API

curl https://kongchang.com/api/v1/knowledge/claims/827311

MCP

get_claim(id=827311)