待验证50% 置信事实精确时间

KDA（Kernelized Delta Attention）将Delta规则核化，试图在递归状态和注意力之间找到更平滑的插值。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

混合LLM架构解析：记忆、注意力与专家系统的融合

rss2026/10/16

涉及实体

相关事实

待验证KDA 是线性注意力机制变体，使用固定大小的循环状态，不保留 KV 缓存71% 相似待验证DeltaNet是线性注意力的变体，用增量更新规则替代softmax注意力，将序列处理复杂度从O(n²)降至O(n)66% 相似待验证Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。64% 相似待验证注意力机制中的KV Cache是推理时显存占用的主要部分59% 相似待验证KL散度在变分自编码器（VAE）中扮演正则化项的角色，约束潜在空间的分布形态58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1046352

API

curl https://kongchang.com/api/v1/knowledge/claims/1046352

MCP

get_claim(id=1046352)