YaRN
一种基于RoPE的上下文长度外推技术，可在不重新训练模型的情况下扩展模型的有效上下文窗口长度
核心事实
时间轴 (近 90 天)
RoPE被LLaMA、Qwen、Mistral等主流模型广泛采用，并衍生出YaRN、LongRoPE等长度外推变体
当前主流长上下文方案普遍采用RoPE并配合YaRN、LongRoPE等外推技术
YaRN（Yet another RoPE extensioN）是一种针对旋转位置编码（RoPE）的扩展方法，由Bowen Peng等人于2023年提出，通过对高频、中频、低频分量分别采用差异化缩放策略，使模型无需重新训练或仅需少量微调即可将有效上下文长度扩展数倍
Qwen3.8 Flash Next 原生上下文窗口为26.2万token，借助YaRN技术可扩展至100万token
YaRN(Yet another RoPE extensioN method)是2023年提出的位置编码扩展技术,通过动态调整位置编码频率分量使模型处理比训练时更长的序列
Qwen3.8 Flash Next原生支持文本、图像和视频多模态处理,原生上下文窗口达26.2万token,借助YaRN技术可扩展至100万token
模型原生支持256K Token上下文，可通过YaRN技术实现4倍缩放扩展至约100万Token
YaRN 对 RoPE 的频率分量进行分组缩放，对高频分量保持不变以保留局部位置精度，对低频分量进行插值以适应更长上下文，并引入温度缩放因子
YaRN是针对旋转位置编码(RoPE)的扩展方法，由Bowen Peng等人于2023年提出，通过对不同频率分量采用差异化缩放策略扩展上下文长度
Qwen3 27B 原生支持 26.2 万 Token 上下文，并能通过 YaRN 外推到 100 万 Token
还有 6 条时间轴事件
全部知识事实 (17)
Qwen3-27B原生支持约26万Token的长上下文，通过YaRN等技术可扩展到100万Token量级
80%已验证YaRN是一种针对使用RoPE的Transformer模型的上下文窗口扩展方法，通过对不同频率维度采用差异化缩放策略，无需完整微调即可扩展上下文
65%已验证pnpm通过硬链接和符号链接机制实现依赖的全局共享存储，相比npm和yarn大幅减少磁盘占用和安装时间
65%待验证YaRN(Yet another RoPE extensioN method)是2023年提出的位置编码扩展技术,通过动态调整位置编码频率分量使模型处理比训练时更长的序列
60%待验证YaRN通过对RoPE中不同频率分量采用差异化的缩放策略，使模型能够在无需重新训练或仅需少量微调的情况下将有效上下文长度扩展数倍甚至数十倍
60%待验证RoPE被LLaMA、Qwen、Mistral等主流模型广泛采用，并衍生出YaRN、LongRoPE等长度外推变体
50%待验证当前主流长上下文方案普遍采用RoPE并配合YaRN、LongRoPE等外推技术
50%待验证YaRN（Yet another RoPE extensioN）是一种针对旋转位置编码（RoPE）的扩展方法，由Bowen Peng等人于2023年提出，通过对高频、中频、低频分量分别采用差异化缩放策略，使模型无需重新训练或仅需少量微调即可将有效上下文长度扩展数倍
50%待验证Qwen3.8 Flash Next 原生上下文窗口为26.2万token，借助YaRN技术可扩展至100万token
50%待验证Qwen3.8 Flash Next原生支持文本、图像和视频多模态处理,原生上下文窗口达26.2万token,借助YaRN技术可扩展至100万token
50%待验证模型原生支持256K Token上下文，可通过YaRN技术实现4倍缩放扩展至约100万Token
50%待验证YaRN 对 RoPE 的频率分量进行分组缩放，对高频分量保持不变以保留局部位置精度，对低频分量进行插值以适应更长上下文，并引入温度缩放因子
50%待验证YaRN是针对旋转位置编码(RoPE)的扩展方法，由Bowen Peng等人于2023年提出，通过对不同频率分量采用差异化缩放策略扩展上下文长度
50%待验证Qwen3 27B 原生支持 26.2 万 Token 上下文，并能通过 YaRN 外推到 100 万 Token
50%待验证YaRN方法通过对不同频率分量采用差异化缩放策略，扩展有效上下文长度同时保持短距离位置关系精度
50%待验证FEIHOA服务通过YaRN技术扩展上下文，实现了1M（百万级）token的上下文支持
50%待验证业界采用旋转位置编码（RoPE）及其外推方法（如YaRN、NTK-aware scaling）、FlashAttention、稀疏注意力等技术应对长上下文挑战
50%