共 2 篇相关文章
HiSA提出在RoPE注意力的隐藏维度进行稀疏化,通过静态规则计算部分点积,仅需约三分之一计算量即可提升性能,并已集成FlashAttention-3。
RoPE注意力衰减曲线其实是采样噪声,取绝对值也无法修复。本文解析旋转位置编码的相对性证明、相位退相干本质、LCG种子相关bug,以及NTK缩放为何无法作用于最快频率对,附226条验证断言与实测数据。