待验证50% 置信事实精确时间
DeBERTa-v3-small 引入解耦注意力机制，在小参数量下保持更强的文本理解能力
1
来源数
50%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
Morph Reflexes：用多头分类器为AI Agent构建实时行为护栏
hackernewshackernews2026/6/30
相关事实
待验证在Transformer的自注意力机制中，语义丰富的实词通常获得较高的注意力权重，而标点符号、连接词等功能性token的权重相对较低69% 相似已验证Multi-Head Latent Attention（MLA）是DeepSeek-V2提出的注意力机制67% 相似待验证位置编码（Positional Encoding）的引入弥补了自注意力机制天然缺乏序列顺序感知的缺陷，因为注意力计算本身是置换不变的67% 相似待验证滑动窗口注意力将注意力计算复杂度从O(n²)降至O(n·w)，使长文本显存开销线性化66% 相似待验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/202681API
curl https://kongchang.com/api/v1/knowledge/claims/202681MCP
get_claim(id=202681)