概念TopK 稀疏自编码器
TopK SAE
一类通过强制每个token的隐层激活至多保留k个非零值来学习稀疏特征的自编码器，避免L1惩罚的收缩偏差。
时间轴 (近 90 天)
11月3日
TopK SAE在每个token上保留最大的若干预激活值，而一个特征的边界定义为它的预激活值与截断阈值之间的距离。
待验证50%
11月3日
研究者在三个Pythia模型（最大为pythia-160m）的五个公开TopK SAE对上进行了实验。
待验证50%
11月3日
当把一个特征置零时，下一层特征跨越截断阈值的比例高达0.74以上，而且这些跨越事件承载了响应的大部分能量。
待验证50%
11月3日
TopK SAE是一类通过强制每个token的隐层激活至多保留k个非零值来学习稀疏特征的自编码器，与使用L1正则化鼓励稀疏性的传统SAE不同。
待验证50%
11月3日
在median情况下，跨越阈值的特征解码后的变化量是模型自身变化范数的1.24倍以上，说明这些特征对输出的贡献不容忽视。
待验证50%
全部知识事实 (5)
待验证
TopK SAE在每个token上保留最大的若干预激活值，而一个特征的边界定义为它的预激活值与截断阈值之间的距离。
50%待验证研究者在三个Pythia模型（最大为pythia-160m）的五个公开TopK SAE对上进行了实验。
50%待验证当把一个特征置零时，下一层特征跨越截断阈值的比例高达0.74以上，而且这些跨越事件承载了响应的大部分能量。
50%待验证TopK SAE是一类通过强制每个token的隐层激活至多保留k个非零值来学习稀疏特征的自编码器，与使用L1正则化鼓励稀疏性的传统SAE不同。
50%待验证在median情况下，跨越阈值的特征解码后的变化量是模型自身变化范数的1.24倍以上，说明这些特征对输出的贡献不容忽视。
50%