概念Sliding Window Attention / 滑动窗口注意力
SWA
一种稀疏注意力变体，每个Token只关注其前面固定窗口内的邻居Token，将注意力计算复杂度从平方级降至近似线性，用于支持超长上下文并降低推理成本
时间轴 (近 90 天)
10月13日
DeepSeek模型中引入的SWA（Sliding Window Attention）有界重放功能被vLLM完整实现，官方数据显示TTFT下降约30%
待验证50%
10月13日
SWA（滑动窗口注意力）是一种稀疏注意力变体，只让每个Token关注其前面固定窗口内的邻居，将复杂度降到近似线性
待验证50%
10月12日
SADL 的五个设计维度包括：Dice与top-K损失组合的基线损失函数、强数据增强、按病灶体积重加权、随机权重平均（SWA）、队列均衡采样与残差编码器主干的配对
待验证50%
10月12日
SWA（随机权重平均）通过在训练后期以较高学习率遍历权重空间取多个检查点平均值，使模型收敛到更平坦的损失盆地以改善泛化
待验证50%