概念SWA 有界重放
SWA 有界重放
一种预填充优化技术，针对使用滑动窗口注意力的模型层，只重放提示末尾的短窗口而非从头计算整个窗口，从而大幅减少预填充工作量。
时间轴 (近 90 天)
10月21日
DeepSeek 的部分模型层使用滑动窗口注意力，只关注最近的 128 个 token；SWA 有界重放只重放提示末尾的短窗口，据称几乎消除总预填充工作量。
待验证50%
一种预填充优化技术，针对使用滑动窗口注意力的模型层，只重放提示末尾的短窗口而非从头计算整个窗口，从而大幅减少预填充工作量。
DeepSeek 的部分模型层使用滑动窗口注意力，只关注最近的 128 个 token；SWA 有界重放只重放提示末尾的短窗口，据称几乎消除总预填充工作量。