待验证50% 置信事实精确时间
AttSVD引入逐矩阵能量规则，独立地为logit空间和注意力质量确定尺寸，动态调整压缩率
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
待验证AttSVD用于低秩压缩的基并非固定不变，而是从每个prompt自身的注意力几何结构中推导，通过在线逐prompt的截断SVD只保留注意力实际读取的方向70% 相似待验证Linformer 将注意力矩阵低秩近似为 O(n) 复杂度，FlashAttention 通过重排计算顺序降低 GPU 内存带宽占用，Longformer 引入滑动窗口注意力59% 相似待验证SVM 通过最大化分类间隔寻找最优超平面，核技巧能将数据隐式映射到高维空间处理非线性可分问题59% 相似已验证对于L层、H个注意力头、每头维度为d的模型，缓存n个token需要的显存为2×L×H×d×n×精度字节数58% 相似待验证标准注意力机制中，Query矩阵与Key矩阵做矩阵乘法得到n×n注意力分数矩阵，计算复杂度为O(n²·d)57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/983259API
curl https://kongchang.com/api/v1/knowledge/claims/983259MCP
get_claim(id=983259)