概念Superposition Hypothesis
叠加假设
叠加假设是解释神经网络表示能力的理论框架,认为当概念数量超过表示维度时,神经网络会用非正交的稠密方向编码概念,通过叠加方式共存,整体表示是少数活跃概念的线性组合。
时间轴 (近 90 天)
11月6日
对于深度学习表示,叠加假设(superposition hypothesis)表明用户嵌入的稀疏叠加性质近似成立。
待验证50%
11月6日
叠加假设的核心思想是:当模型需要表示的概念数量超过其表示空间的维度时,神经网络会倾向于用非正交的稠密方向来编码这些概念。
待验证50%