待验证50% 置信事实精确时间
PARC的结构化剪枝约束条件要求剪枝后的注意力维度必须能被目标核心数整除,同时保持query与key/value的比例以及每个头的维度不变。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
PARC:面向端侧多模态Agent的并行对齐剪枝与轮次感知上下文复用
rss2026/11/2
涉及实体
相关事实
待验证现有结构化剪枝方法通常在 MLP 块或注意力头级别分配重要性权重并排序,粒度较粗,会丢失 MLP 块内部不同神经元重要性差异的信息。72% 相似待验证密集注意力层需要完整的KV Cache,而线性层则依赖隐状态70% 相似待验证剪枝和量化在保持原架构拓扑的前提下做减法,不改变层的功能语义和连接模式;而Priming允许目标架构在层数、宽度、注意力模式上与原模型不同。69% 相似待验证分块处理原理是将特征图在空间维度切分为子块独立计算再拼合,峰值显存占用随块数增加而线性下降,但需重叠采样避免拼接缝且总计算量略增68% 相似已验证标准自注意力的计算复杂度为序列长度的平方,实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130510API
curl https://kongchang.com/api/v1/knowledge/claims/1130510MCP
get_claim(id=1130510)