共 2 篇相关文章
新论文提出位置可实现性理论，通过单头位置注意力抽象和标量α_L，推导长度泛化对位置编码的依赖模式，并精确界定理论边界。
RoPE注意力衰减曲线其实是采样噪声，取绝对值也无法修复。本文解析旋转位置编码的相对性证明、相位退相干本质、LCG种子相关bug，以及NTK缩放为何无法作用于最快频率对，附226条验证断言与实测数据。
