待验证50% 置信事实精确时间
YaRN(Yet another RoPE extensioN method)是2023年提出的位置编码扩展技术,通过动态调整位置编码频率分量使模型处理比训练时更长的序列
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证YaRN通过对RoPE中不同频率分量采用差异化的缩放策略，使模型能够在无需重新训练或仅需少量微调的情况下将有效上下文长度扩展数倍甚至数十倍79% 相似待验证YaRN是一种针对使用RoPE的Transformer模型的上下文窗口扩展方法，通过对不同频率维度采用差异化缩放策略，无需完整微调即可扩展上下文76% 相似待验证现代LLM普遍采用RoPE（旋转位置编码）等相对位置编码方案，其在序列端点处的位置区分度更高，对中间位置区分能力随序列长度增加而衰减62% 相似待验证编译器的数据流分析和指令调度依赖有向无环图（DAG）的拓扑排序60% 相似待验证语义ID技术实现通常先用预训练模型（如BERT或CLIP）提取物品语义向量，再通过残差量化向量化（RQ-VAE）等技术将连续向量离散化为多层级code序列60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/866947API
curl https://kongchang.com/api/v1/knowledge/claims/866947MCP
get_claim(id=866947)