概念Answer Subspace
答案子空间
指在模型某一层激活空间中,由多个样本的答案方向张成的低维子空间,用于分离答案相关成分与其余表征,是机制可解释性分析的工具。
时间轴 (近 90 天)
11月18日
一项最新研究提出从答案位置表征中估计低维答案子空间,将答案相关成分与其余表征分离。
待验证50%
11月18日
实验显示,预测跨模态不一致的信息主要位于答案子空间之外,集中在一个可复现的二维表征中,且该表征无法用固定的模态偏移解释。
待验证50%
11月18日
匹配干预实验表明,扰动答案子空间会显著改变模型预测,而扰动分歧表征(即使维度相同)几乎不改变预测,效果类似于随机子空间。
待验证50%
11月18日
跨模态分歧可以通过错位模态特定的答案表征来诱导:仅对单一模态的答案子空间施加扰动即可诱发分歧,而对两个模态施加相同扰动则基本保持一致性。
待验证50%
11月18日
改善跨模态一致性或许需要针对答案子空间中的模态对齐进行干预,而非仅仅调整高层融合策略。
待验证50%
11月18日
答案子空间指在模型某一层(通常是答案 token 对应的位置)的激活空间中,由多个输入—输出样本的答案方向张成的一个低维子空间。
待验证50%
全部知识事实 (6)
待验证
一项最新研究提出从答案位置表征中估计低维答案子空间,将答案相关成分与其余表征分离。
50%待验证实验显示,预测跨模态不一致的信息主要位于答案子空间之外,集中在一个可复现的二维表征中,且该表征无法用固定的模态偏移解释。
50%待验证匹配干预实验表明,扰动答案子空间会显著改变模型预测,而扰动分歧表征(即使维度相同)几乎不改变预测,效果类似于随机子空间。
50%待验证跨模态分歧可以通过错位模态特定的答案表征来诱导:仅对单一模态的答案子空间施加扰动即可诱发分歧,而对两个模态施加相同扰动则基本保持一致性。
50%待验证改善跨模态一致性或许需要针对答案子空间中的模态对齐进行干预,而非仅仅调整高层融合策略。
50%待验证答案子空间指在模型某一层(通常是答案 token 对应的位置)的激活空间中,由多个输入—输出样本的答案方向张成的一个低维子空间。
50%