Continuum Attention
一种将注意力机制从离散key-value点集推广到连续记忆曲线的注意力范式，通过对相关性密度函数积分并以闭式解计算归一化注意力输出，保持因果性和二次复杂度。
时间轴 (近 90 天)
Continuum Attention（CA）是一种新的注意力机制，将 key-value 存储视为连续的分段线性记忆曲线，而非离散的点集，通过积分和插值以闭式解计算归一化的注意力输出。
Continuum Attention 保留了与标准注意力相同的二次序列复杂度，并非效率优化方案，而是理论范式的探索。
Continuum Attention 由于相关性密度采用指数形式，积分运算可归结为指数矩的闭式表达式，梯度可从至多二阶矩中解析求出。
在验证集平均 NLL 指标上，Continuum Attention 相比普通 softmax 注意力降低了 0.0200 nats/byte。
在一个不重叠的验证切片上，Continuum Attention 相比最强的 softmax 基线（经过筛选的版本）获得了 0.0457 nats/byte 的优势，并附有配对 95% 置信区间。
论文作者指出，这些发现激励将连续积分作为有前景的注意力替代方案，但同时承认大规模泛化能力仍有待验证。
全部知识事实 (6)
Continuum Attention（CA）是一种新的注意力机制，将 key-value 存储视为连续的分段线性记忆曲线，而非离散的点集，通过积分和插值以闭式解计算归一化的注意力输出。
50%待验证Continuum Attention 保留了与标准注意力相同的二次序列复杂度，并非效率优化方案，而是理论范式的探索。
50%待验证Continuum Attention 由于相关性密度采用指数形式，积分运算可归结为指数矩的闭式表达式，梯度可从至多二阶矩中解析求出。
50%待验证在验证集平均 NLL 指标上，Continuum Attention 相比普通 softmax 注意力降低了 0.0200 nats/byte。
50%待验证在一个不重叠的验证切片上，Continuum Attention 相比最强的 softmax 基线（经过筛选的版本）获得了 0.0457 nats/byte 的优势，并附有配对 95% 置信区间。
50%待验证论文作者指出，这些发现激励将连续积分作为有前景的注意力替代方案，但同时承认大规模泛化能力仍有待验证。
50%