待验证50% 置信基准精确时间
将中间层注意力模块替换为 OAL 并通过 LoRA 联合微调后，WikiText-103 困惑度相比全局二次核从 31.71 降至 27.50
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证在中等噪声水平、模型中间层的位置，2 个可学习的 null 槽吸收了约 90% 的交叉注意力质量，而 EOS token 占比骤降到约 4%59% 相似待验证在同一天同一公开标识符下重建配置后，模型减匀称端点值降低了0.0429（H-minus-R对比95%CI为[+0.0182, +0.0667]），且六个配置组件同时变化无法孤立哪个组件造成差异56% 相似待验证论文用于对比的 LoRA 基线采用 rank 19、660 万参数，纠错率达 83.3%，但出现了 30% 到 75% 的能力损失55% 相似待验证Gemma-4-31B使用DA后注意力token减少52.0%，准确率仅下降1.27个百分点55% 相似待验证在WikiText-103数据集上，约10M参数下CWAA V6验证困惑度为139.09，标准Transformer为149.19，CWAA约有7%相对改善54% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1002308API
curl https://kongchang.com/api/v1/knowledge/claims/1002308MCP
get_claim(id=1002308)