待验证50% 置信观点精确时间
DepthGraft在GQA和MLA两种注意力机制下均验证有效,说明其分层重建的正则化效应不依赖特定注意力实现。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
DepthGraft:分层KV重建如何成为深度模型的结构正则化利器
rss2026/11/2
涉及实体
相关事实
待验证注意力缩放擅长向上扩展(upscaling),而图上下文聚合机制擅长向下迁移(downscaling),两者互补。74% 相似待验证确定性注意力研究强调「实测能耗节省」而非依赖理论FLOPs估算71% 相似待验证分组查询注意力(GQA)和头剪枝可用于在多头注意力的效率与性能间取得平衡。70% 相似待验证混合线性注意力(HLA)模型在部分层保留标准注意力、在其余层使用线性注意力,兼顾局部精确检索与长程记忆。69% 相似待验证GLM-5.3-Flash 的注意力架构将计算拆为线性注意力(O(n)递归状态,处理近期token)和稀疏注意力(轻量索引器回扫全局上下文,只拉取相关远端片段)两条路径。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130765API
curl https://kongchang.com/api/v1/knowledge/claims/1130765MCP
get_claim(id=1130765)