概念parallel prefix sum / scan / 并行扫描
并行前缀和
并行前缀和是一种把满足结合律的递推运算并行化的经典算法,可将 O(n) 步串行计算降为 O(log n) 步,是分块扫描核的理论基础。
时间轴 (近 90 天)
10月19日
由于递推存在严格的时间依赖,选择性扫描无法像注意力那样一次性并行计算全部位置,必须借助分块扫描或并行前缀和算法把串行链拆解为块内并行与块间传递两阶段。
待验证50%
10月19日
并行前缀和(parallel prefix sum / scan)是一种把满足结合律的递推运算并行化的经典算法,Blelloch 扫描等算法可以在 O(log n) 步内完成累加。
待验证50%