概念Superposition Hypothesis / 叠加假说
叠加假说
解释神经网络神经元多义性的理论假说，认为当神经元数量不足以表示所有概念时，模型会将多个稀疏激活的特征折叠进同一神经元，导致表征叠加
时间轴 (近 90 天)
10月17日
将Inception V1某层从480个神经元削减到10个重训，网络没有出现叠加，而是神经元功能变粗泛化。
待验证50%
10月16日
2020年，Cammarata与Chris Olah在论文《Zoom In》中提供证据，表明网络将汽车特征信号藏在一组狗神经元中，强化了叠加假说。
待验证50%
10月16日
Neel Nanda指出存在两种叠加：任意叠加和表征叠加，Cammarata推翻的是任意叠加，而表征叠加仍是核心争议。
待验证50%