待验证50% 置信事实精确时间

现有结构化剪枝方法通常在 MLP 块或注意力头级别分配重要性权重并排序，粒度较粗，会丢失 MLP 块内部不同神经元重要性差异的信息。

1

来源数

50%

置信度

长期有效

时效性

2026/10/15

首次发现

来源

你的Transformer其实是弹性的：免重训练动态压缩

rss2026/10/14

涉及实体

结构化剪枝concept MLP 块concept 注意力头concept

相关事实

待验证剪枝通过移除对输出贡献较小的神经元或注意力头来压缩模型规模。78% 相似待验证研究表明注意力层主要负责信息的路由和聚合，而MLP层更像是知识的存储库，负责非线性变换和信息的深度加工71% 相似待验证token剪枝指依据重要性评分直接丢弃部分视觉token，压缩率高但不可逆；token合并则把相似token聚合成代表向量，保留信息同时降低序列长度。70% 相似待验证密集注意力层需要完整的KV Cache，而线性层则依赖隐状态68% 相似待验证注意力算子的加速比往往对具体的shape和场景高度敏感，decode阶段访存密集而prefill阶段计算密集68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1037989

API

curl https://kongchang.com/api/v1/knowledge/claims/1037989

MCP

get_claim(id=1037989)