概念局部注意力 / 窗口注意力
局部交互
一种注意力机制,仅在局部窗口或邻域内进行交互,计算复杂度通常与 token 数呈线性关系,用于高效建模局部细节。
时间轴 (近 90 天)
10月30日
局部交互(如窗口注意力或邻域卷积)的复杂度通常与 token 数呈线性关系,代价远低于全局注意力。
待验证50%
一种注意力机制,仅在局部窗口或邻域内进行交互,计算复杂度通常与 token 数呈线性关系,用于高效建模局部细节。
局部交互(如窗口注意力或邻域卷积)的复杂度通常与 token 数呈线性关系,代价远低于全局注意力。