概念Weight Space
权重空间
可解释性研究中直接研究参数矩阵本身统计结构与几何性质的分析对象,传统上被认为高度不可解释,因参数之间存在大量对称性和冗余。
时间轴 (近 90 天)
11月6日
以本文示例,500输入、5输出、含隐藏层的小型多层感知机权重总量可达数十万量级,而270M参数模型有2.7亿个浮点数,按层展平拼接构成高维权重空间。
待验证50%
11月4日
权重空间是神经网络所有可学习参数构成的高维空间,现代大模型权重空间维度可达千亿量级。
待验证50%
11月2日
权重空间(weight space)与激活空间(activation space)是可解释性研究中两个不同层次的分析对象。
待验证50%
11月2日
LLM可能只是记住了训练数据中的模式,而非真正理解权重空间。
待验证50%