[控场AI]
概念readout-normalized decision-space coordinates / 读出规范化决策空间坐标

RC-DS

一种SAE训练方法,通过奇异值分解去除读出变换的奇异值增益,仅保留正交或旋转部分,在归一化后的决策空间坐标中训练SAE,避免训练目标被读出缩放扭曲

时间轴 (近 90 天)

10月14日

在条件数为100的设定下,当因子在读出缩放之前生成时,RC-DS将平均稀疏因子恢复率从0.506提升到0.913,对比基线是相同预算下的中心化logit训练。

待验证50%
10月14日

RC-DS实现了一个精确包装器,能以数值精度复现RC-DS训练,其目的是隔离训练几何的影响而非引入额外信息。

待验证50%
10月14日

在神经网络策略中,RC-DS在测试预算下改善了平均logit重建。

待验证50%
10月14日

在三个固定的语言模型检查点上,RC-DS在全部18个任务-稀疏度设置中均取得更高的无增益重建均值。

待验证50%
10月14日

RC-DS的核心操作是:先对读出变换做奇异值分解,去除奇异值增益,只保留决定方向结构的正交或旋转部分,再在归一化后的决策空间坐标中训练SAE。

待验证50%

全部知识事实 (5)

来源文章