待验证50% 置信事实精确时间

SWA（滑动窗口注意力）是一种稀疏注意力变体，只让每个Token关注其前面固定窗口内的邻居，将复杂度降到近似线性

1

来源数

50%

置信度

长期有效

时效性

2026/10/13

首次发现

来源

vLLM新版本发布：DeepSeek推理性能飙升1.9至5.3倍

涉及实体

相关事实

待验证新内核为滑动窗口注意力（SWA）层提供双输入支持，并引入 attention sinks 机制72% 相似待验证滑动窗口注意力（SWA）由 Mistral AI 广泛采用，将注意力复杂度从 O(N²) 降至 O(N×W)72% 相似待验证Swin Transformer引入了局部窗口注意力机制67% 相似待验证新一代模型通过稀疏注意力、滑动窗口注意力和检索增强生成（RAG）等技术大幅扩展了有效上下文长度65% 相似已验证Sliding Window Attention 被 Mistral 等模型采用，将每个 token 的注意力范围限制在固定窗口内62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1014637

API

curl https://kongchang.com/api/v1/knowledge/claims/1014637

MCP

get_claim(id=1014637)