SWA
一种稀疏注意力变体，每个Token只关注其前面固定窗口内的邻居Token，将注意力计算复杂度从平方级降至近似线性，用于支持超长上下文并降低推理成本
时间轴 (近 90 天)
V4.1 采用 SWA 有界重放：只重新计算最后 128 个 token，注意力也只在这 128 个 token 之内，得到近似的窗口缓存；重算成本变成常数，Decoder 的 20 层原本要处理最后 2560 个 token，现在只需处理 128 个，预填充总计算量少了接近一半。
DeepSeek模型中引入的SWA（Sliding Window Attention）有界重放功能被vLLM完整实现，官方数据显示TTFT下降约30%
SWA（滑动窗口注意力）是一种稀疏注意力变体，只让每个Token关注其前面固定窗口内的邻居，将复杂度降到近似线性
SADL 的五个设计维度包括：Dice与top-K损失组合的基线损失函数、强数据增强、按病灶体积重加权、随机权重平均（SWA）、队列均衡采样与残差编码器主干的配对
SWA（随机权重平均）通过在训练后期以较高学习率遍历权重空间取多个检查点平均值，使模型收敛到更平坦的损失盆地以改善泛化
全部知识事实 (5)
V4.1 采用 SWA 有界重放：只重新计算最后 128 个 token，注意力也只在这 128 个 token 之内，得到近似的窗口缓存；重算成本变成常数，Decoder 的 20 层原本要处理最后 2560 个 token，现在只需处理 128 个，预填充总计算量少了接近一半。
50%待验证DeepSeek模型中引入的SWA（Sliding Window Attention）有界重放功能被vLLM完整实现，官方数据显示TTFT下降约30%
50%待验证SWA（滑动窗口注意力）是一种稀疏注意力变体，只让每个Token关注其前面固定窗口内的邻居，将复杂度降到近似线性
50%待验证SADL 的五个设计维度包括：Dice与top-K损失组合的基线损失函数、强数据增强、按病灶体积重加权、随机权重平均（SWA）、队列均衡采样与残差编码器主干的配对
50%待验证SWA（随机权重平均）通过在训练后期以较高学习率遍历权重空间取多个检查点平均值，使模型收敛到更平坦的损失盆地以改善泛化
50%