待验证50% 置信事实精确时间
以 Transformer 为例,每个神经元或注意力头的输出可以看作高维空间中的一个方向,改变该方向的投影强度会系统性地影响下游计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证各向异性现象的根源在于Transformer的自注意力机制和残差连接结构,使高频词的梯度信号主导嵌入空间整体方向78% 相似已验证Transformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系,无论token相距多远,注意力权重的计算代价相同78% 相似已验证由于Transformer自注意力机制存在位置偏向性,早期输入内容对后续生成具有更强锚定作用,这是系统提示上下文锚定效应的底层原因76% 相似待验证对于Transformer,常见可解释性方法包括分析注意力权重、追踪神经元激活或使用探针(probing)。75% 相似待验证从PCA降维到Transformer的注意力机制都依赖矩阵运算和向量空间变换75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1108614API
curl https://kongchang.com/api/v1/knowledge/claims/1108614MCP
get_claim(id=1108614)