ALiBi
一种Transformer位置编码方案，通过在注意力分数上叠加与token距离成正比的线性惩罚项来隐式编码位置信息，实现简洁，对长序列外推友好
时间轴 (近 90 天)
ALiBi直接在注意力分数上叠加与距离成正比的线性惩罚项，实现简洁且对长度外推友好
RoPE和ALiBi等位置编码改进允许模型外推到训练时未见过的序列长度
超长上下文技术包括ALiBi、RoPE的外推改进以及Ring Attention等分布式注意力机制，用于解决Transformer注意力机制计算复杂度随序列长度二次方增长的瓶颈
上下文窗口扩展技术如RoPE的NTK-aware缩放、ALiBi、Ring Attention将上下文长度从早期的4K推进到了128K甚至数百万token级别
上下文窗口扩展技术如RoPE的NTK-aware缩放、ALiBi、Ring Attention将上下文长度从早期4K推进到128K甚至数百万token级别，但面临计算成本二次方增长和长距离注意力衰减的限制
全部知识事实 (6)
上下文窗口扩展得益于ALiBi位置编码、RoPE的外推扩展、Flash Attention和Ring Attention等技术突破
85%待验证RoPE和ALiBi等位置编码改进允许模型外推到训练时未见过的序列长度
60%待验证ALiBi直接在注意力分数上叠加与距离成正比的线性惩罚项，实现简洁且对长度外推友好
50%待验证超长上下文技术包括ALiBi、RoPE的外推改进以及Ring Attention等分布式注意力机制，用于解决Transformer注意力机制计算复杂度随序列长度二次方增长的瓶颈
50%待验证上下文窗口扩展技术如RoPE的NTK-aware缩放、ALiBi、Ring Attention将上下文长度从早期的4K推进到了128K甚至数百万token级别
50%待验证上下文窗口扩展技术如RoPE的NTK-aware缩放、ALiBi、Ring Attention将上下文长度从早期4K推进到128K甚至数百万token级别，但面临计算成本二次方增长和长距离注意力衰减的限制
50%