待验证50% 置信事实精确时间
BDH(Dragon Hatchling)把高维神经元空间中的线性注意力与低秩的GPU实现结合,其循环注意力状态是一个N×D矩阵(N远大于D)而非N×N连接矩阵
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证Longformer、BigBird通过局部滑动窗口注意力加少量全局token的混合注意力策略,将计算复杂度从O(n²)降至O(n)67% 相似待验证移动端NPU更擅长处理固定形状的CNN推理,而LLM的自注意力机制具有动态形状的计算图特性,导致CPU+GPU混合推理往往比纯NPU方案更成熟66% 相似待验证标准注意力机制中,Query矩阵与Key矩阵做矩阵乘法得到n×n注意力分数矩阵,计算复杂度为O(n²·d)66% 相似待验证Linformer 将注意力矩阵低秩近似为 O(n) 复杂度,FlashAttention 通过重排计算顺序降低 GPU 内存带宽占用,Longformer 引入滑动窗口注意力65% 相似待验证线性注意力因固定计算量的静态图特性更适配NPU芯片,而传统注意力是动态图需芯片频繁切换调度64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/981676API
curl https://kongchang.com/api/v1/knowledge/claims/981676MCP
get_claim(id=981676)