概念NTK-aware scaling / NTK-aware RoPE
NTK缩放
一种RoPE扩展方法，通过对旋转频率进行缩放来支持超出训练长度的上下文窗口，基于神经正切核（NTK）理论调整不同频率分量的缩放比例。
时间轴 (近 90 天)
10月12日
NTK缩放无法减慢最快的那一对频率，因为θ₀ = base⁰ = 1，无论怎么调base都不变。
待验证50%
一种RoPE扩展方法，通过对旋转频率进行缩放来支持超出训练长度的上下文窗口，基于神经正切核（NTK）理论调整不同频率分量的缩放比例。
NTK缩放无法减慢最快的那一对频率，因为θ₀ = base⁰ = 1，无论怎么调base都不变。