概念readout-normalized decision-space coordinates / 读出规范化决策空间坐标
RC-DS
一种SAE训练方法,通过奇异值分解去除读出变换的奇异值增益,仅保留正交或旋转部分,在归一化后的决策空间坐标中训练SAE,避免训练目标被读出缩放扭曲
时间轴 (近 90 天)
10月14日
在条件数为100的设定下,当因子在读出缩放之前生成时,RC-DS将平均稀疏因子恢复率从0.506提升到0.913,对比基线是相同预算下的中心化logit训练。
待验证50%
10月14日
RC-DS实现了一个精确包装器,能以数值精度复现RC-DS训练,其目的是隔离训练几何的影响而非引入额外信息。
待验证50%
10月14日
在神经网络策略中,RC-DS在测试预算下改善了平均logit重建。
待验证50%
10月14日
在三个固定的语言模型检查点上,RC-DS在全部18个任务-稀疏度设置中均取得更高的无增益重建均值。
待验证50%
10月14日
RC-DS的核心操作是:先对读出变换做奇异值分解,去除奇异值增益,只保留决定方向结构的正交或旋转部分,再在归一化后的决策空间坐标中训练SAE。
待验证50%
全部知识事实 (5)
待验证
在条件数为100的设定下,当因子在读出缩放之前生成时,RC-DS将平均稀疏因子恢复率从0.506提升到0.913,对比基线是相同预算下的中心化logit训练。
50%待验证RC-DS实现了一个精确包装器,能以数值精度复现RC-DS训练,其目的是隔离训练几何的影响而非引入额外信息。
50%待验证在神经网络策略中,RC-DS在测试预算下改善了平均logit重建。
50%待验证在三个固定的语言模型检查点上,RC-DS在全部18个任务-稀疏度设置中均取得更高的无增益重建均值。
50%待验证RC-DS的核心操作是:先对读出变换做奇异值分解,去除奇异值增益,只保留决定方向结构的正交或旋转部分,再在归一化后的决策空间坐标中训练SAE。
50%