待验证50% 置信基准精确时间

在验证集平均 NLL 指标上，Continuum Attention 相比普通 softmax 注意力降低了 0.0200 nats/byte。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

Continuum Attention：连续注意力机制挑战Softmax

rss2026/10/14

涉及实体

Continuum Attentionconcept softmax attentionconcept

相关事实

待验证在固定算力下，单头注意力比最优设置差0.9分，头太多质量反而会下降70% 相似待验证在中等噪声水平、模型中间层的位置，2 个可学习的 null 槽吸收了约 90% 的交叉注意力质量，而 EOS token 占比骤降到约 4%64% 相似待验证Gemma-4-31B使用DA后注意力token减少52.0%，准确率仅下降1.27个百分点63% 相似待验证最终一轮实验中综合评估分数提升了0.0903，零分会话减少了40%62% 相似待验证研究表明人类在持续执行高度注意力监控任务时约 20-30 分钟后检测准确率会显著下降62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1037967

API

curl https://kongchang.com/api/v1/knowledge/claims/1037967

MCP

get_claim(id=1037967)