待验证50% 置信事实精确时间
注意力操作中的softmax重归一化会以非线性方式耦合删除决策：删除一个条目会改变所有剩余条目的注意力权重，导致独立评估方法难以做出全局最优删除决策。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证非因果注意力（bidirectional attention）取消因果掩码，使序列中每个位置都能关注全部上下文，适合分类、排序与打分等判别式任务。72% 相似待验证将复杂指令拆解为多个专注的子模块有助于减少LLM在处理长指令时的注意力稀释问题71% 相似待验证将稀疏策略视为可调参数而非固定架构，根据任务类型动态切换注意力模式，或在关键层保留全注意力、在浅层使用稀疏化，可能是平衡成本与质量的折中路径。71% 相似待验证KV-Surgeon的二次代理模型将删除集合对注意力输出的影响近似为二次型函数，在贪心框架下每次只需在二次型上做闭式比较，选出当前最优的单个删除，从而避免组合爆炸。70% 相似待验证在标准Transformer架构中，Softmax操作负责将注意力分数归一化为概率分布，决定每个token对其他token的关注程度70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1073859API
curl https://kongchang.com/api/v1/knowledge/claims/1073859MCP
get_claim(id=1073859)