[控场AI]
概念Answer Subspace

答案子空间

指在模型某一层激活空间中,由多个样本的答案方向张成的低维子空间,用于分离答案相关成分与其余表征,是机制可解释性分析的工具。

时间轴 (近 90 天)

11月18日

一项最新研究提出从答案位置表征中估计低维答案子空间,将答案相关成分与其余表征分离。

待验证50%
11月18日

实验显示,预测跨模态不一致的信息主要位于答案子空间之外,集中在一个可复现的二维表征中,且该表征无法用固定的模态偏移解释。

待验证50%
11月18日

匹配干预实验表明,扰动答案子空间会显著改变模型预测,而扰动分歧表征(即使维度相同)几乎不改变预测,效果类似于随机子空间。

待验证50%
11月18日

跨模态分歧可以通过错位模态特定的答案表征来诱导:仅对单一模态的答案子空间施加扰动即可诱发分歧,而对两个模态施加相同扰动则基本保持一致性。

待验证50%
11月18日

改善跨模态一致性或许需要针对答案子空间中的模态对齐进行干预,而非仅仅调整高层融合策略。

待验证50%
11月18日

答案子空间指在模型某一层(通常是答案 token 对应的位置)的激活空间中,由多个输入—输出样本的答案方向张成的一个低维子空间。

待验证50%

全部知识事实 (6)

来源文章