Unverified50% confidenceFactExact time
YaRN(Yet another RoPE extensioN method)是2023年提出的位置编码扩展技术,通过动态调整位置编码频率分量使模型处理比训练时更长的序列
1
Sources
50%
Confidence
Long-term
Relevance
9/6/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedYaRN通过对RoPE中不同频率分量采用差异化的缩放策略，使模型能够在无需重新训练或仅需少量微调的情况下将有效上下文长度扩展数倍甚至数十倍79% similarUnverifiedYaRN是一种针对使用RoPE的Transformer模型的上下文窗口扩展方法，通过对不同频率维度采用差异化缩放策略，无需完整微调即可扩展上下文76% similarUnverified现代LLM普遍采用RoPE（旋转位置编码）等相对位置编码方案，其在序列端点处的位置区分度更高，对中间位置区分能力随序列长度增加而衰减62% similarUnverified编译器的数据流分析和指令调度依赖有向无环图（DAG）的拓扑排序60% similarUnverified语义ID技术实现通常先用预训练模型（如BERT或CLIP）提取物品语义向量，再通过残差量化向量化（RQ-VAE）等技术将连续向量离散化为多层级code序列60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/866947API
curl https://kongchang.com/api/v1/knowledge/claims/866947MCP
get_claim(id=866947)