概念spherical noising
球面加噪
一种在单位球面上定义的扩散过程变体,通过沿球面测地线向掩码偏置端点插值进行加噪,保持向量范数恒为1,消除范数衰减,使token比较退化为纯方向性角度比较。
时间轴 (近 90 天)
10月26日
LLaCO采用球面加噪过程,形式化为朝向掩码偏置端点的测地线插值,从而消除范数衰减并保留准确的token竞争。
待验证50%
10月26日
球面加噪过程中所有中间状态保持在单位球面上,向量范数恒为1,从而绕开欧氏距离虚假超越问题。
待验证50%
一种在单位球面上定义的扩散过程变体,通过沿球面测地线向掩码偏置端点插值进行加噪,保持向量范数恒为1,消除范数衰减,使token比较退化为纯方向性角度比较。
LLaCO采用球面加噪过程,形式化为朝向掩码偏置端点的测地线插值,从而消除范数衰减并保留准确的token竞争。
球面加噪过程中所有中间状态保持在单位球面上,向量范数恒为1,从而绕开欧氏距离虚假超越问题。