RoPE
LLaMA等模型采用的位置编码方式，相比传统位置编码具有更强的序列长度泛化能力
核心事实
时间轴 (近 90 天)
字节团队用Qwen3-0.6B架构从头训练控制实验表明：所有采用分块压缩的模型都出现周期性准确率波动，波动周期严格等于压缩步长；去掉RoPE或换成平均分配门控权重后波动依然存在；无压缩的全注意力基线完全正常。
Mistral Large 3 支持 512,000 token 的原生上下文窗口，结合块稀疏注意力与硬件校准的旋转位置编码（RoPE）。
NTK缩放无法减慢最快的那一对频率，因为θ₀ = base⁰ = 1，无论怎么调base都不变。
在RoPE长度外推中，最慢的频率对在训练窗口（如512）内只扫过2.6%圈，是真正离开熟悉区域的频率对，而非高频对。
取绝对值无法恢复RoPE的衰减现象，因为绝对值损失了相位方向信息，而衰减是相位现象。
RoPE中的衰减是相位退相干（dephasing），即固定向量对自身在不同距离上相位错开导致余弦相互抵消，而非幅度衰减。
在固定向量自身相似度实验中，offset从0到1024时原始分数均值始终在±0.38内波动，而绝对值均值仅从3.17下降到3.02，变化幅度约4%。
两个独立随机向量的期望点积在任何距离上都是零，因此直接以注意力分数对距离作图得到的是噪声而非衰减曲线。
RoPE将绝对位置注入query和key，但任意两个token的注意力分数只取决于它们之间的距离（m-n），绝对位置在点积中消去。
在42组offset与shift组合的验证中，RoPE相对性最大偏差为1e-15，属于浮点误差级别。
还有 40 条时间轴事件
全部知识事实 (20)
Qwen3-27B原生支持约26万Token的长上下文，通过YaRN等技术可扩展到100万Token量级
80%已验证FlashAttention通过重新排列计算顺序、利用GPU的SRAM高速缓存减少显存读写，提升推理速度并保持与标准注意力计算数学上的等价性
80%已验证RoPE（旋转位置编码）通过将位置信息以旋转矩阵形式注入注意力计算，使相对位置关系在任意序列长度下保持
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
80%已验证现代LLM普遍采用RoPE（旋转位置编码）等相对位置编码方案，其在序列端点处的位置区分度更高，对中间位置区分能力随序列长度增加而衰减
75%已验证RoPE的交错格式将相邻两个维度配对进行旋转，非交错格式将前半部分和后半部分配对进行旋转，两种格式在数学上等价但实现不可互换
75%已验证RoPE被GPT-NeoX、LLaMA、DeepSeek等主流模型广泛采用
75%已验证RoPE（旋转位置编码）、ALiBi 等相对位置编码方案使模型能够处理远超训练时序列长度的文本
70%已验证ModernBERT是2024年底发布的BERT架构改进版，引入了旋转位置编码（RoPE）和交替局部/全局注意力等现代化设计
65%已验证YaRN是一种针对使用RoPE的Transformer模型的上下文窗口扩展方法，通过对不同频率维度采用差异化缩放策略，无需完整微调即可扩展上下文
65%待验证RoPE格式不匹配的Bug不会导致程序报错或崩溃，但会导致隐性性能退化，表现为长文本理解能力下降、上下文关联性变弱、生成质量不稳定
90%待验证上下文窗口扩展得益于ALiBi位置编码、RoPE的外推扩展、Flash Attention和Ring Attention等技术突破
85%待验证MLA中RoPE只对部分维度施加旋转编码，采用分离式设计将一小部分维度专门用于承载RoPE位置编码，与压缩后的内容向量拼接使用
85%待验证Hugging Face Transformers库在早期版本中曾因RoPE交错/非交错格式差异引发过兼容性问题
80%待验证Gemma系列采用了分组查询注意力（GQA）和RoPE位置编码等Transformer架构改进技术
80%待验证RoPE和ALiBi等位置编码改进允许模型外推到训练时未见过的序列长度
60%待验证YaRN(Yet another RoPE extensioN method)是2023年提出的位置编码扩展技术,通过动态调整位置编码频率分量使模型处理比训练时更长的序列
60%待验证RoPE是当前主流大模型使用的位置编码方案，由苏剑林于2021年提出
60%待验证YaRN通过对RoPE中不同频率分量采用差异化的缩放策略，使模型能够在无需重新训练或仅需少量微调的情况下将有效上下文长度扩展数倍甚至数十倍
60%