PARC：面向端侧多模态Agent的并行对齐剪枝与轮次感知上下文复用

端侧多模态Agent的部署一直面临两个结构性矛盾：预训练注意力结构的维度未必能整除边缘加速器的计算核心数，导致不规则分区；而标准前缀缓存将历史视觉token保留在持久化KV缓存中，其容量随交互轮数线性增长，迅速耗尽有限的内存预算。来自rss的一篇研究提出了PARC（Parallelism-Aligned Pruning and Round-Aware Context Reuse），试图从模型结构与运行时缓存两个层面同时化解这两类失配。

两个部署失配：从核心对齐到缓存膨胀

PARC的出发点是对端侧部署约束的重新审视。在模型层面，注意力头维度与目标核心数之间往往不存在整数倍关系，硬件调度器被迫进行不规则切分，算力利用率随之下降。在运行时层面，传统前缀缓存把系统提示、历史文本和多轮视觉观察一视同仁地塞进KV缓存，随着对话轮次增加，视觉token持续占用持久化空间，直接压缩了可支持的交互轮数。

这两类问题看似独立，实则共同指向同一个设计缺陷：模型结构与运行时资源管理都没有感知部署硬件的实际形态。PARC的核心思路，是让剪枝策略对齐并行度、让缓存组织对齐token的生命周期。

前缀缓存（Prefix Caching） 是LLM推理服务中的一项关键优化技术：当多个请求共享相同的前缀（如系统提示、少样本示例）时，计算一次并将对应的KV缓存持久化，后续请求可直接复用，避免重复计算。在标准实现中，KV缓存按token位置线性追加，所有历史token一视同仁地驻留内存。对于多模态Agent，每轮交互新增的视觉token（一张图像可能对应数百至上千token）会持续累积在缓存中，使内存占用随轮数线性增长。这种“按时间顺序追加”的缓存模型与Agent场景中token生命周期的异质性（系统提示长期有效、视觉观察仅当前轮有效）形成了根本矛盾。

并行对齐的结构化剪枝

在模型层面，PARC采用一阶Taylor重要性评估结合分组查询注意力（GQA）感知的选择策略，对注意力维度进行结构化剪枝。与通用剪枝不同，其约束条件明确指向硬件：剪枝后的注意力维度必须能被目标核心数整除，同时保持query与key/value的比例以及每个头的维度不变。

这一约束的意义在于，剪枝不再只是参数量的削减，而是同时改变了硬件分区的规则性。研究中的参数匹配对照组进一步验证了这一点：在参数量相同的情况下，对齐核心数的剪枝版本才能获得速度收益，说明性能提升主要来自核心对齐而非单纯的参数减少。这对端侧模型压缩实践是一个有价值的提醒——参数少不等于跑得快，结构是否契合硬件并行度同样关键。

分组查询注意力（GQA, Grouped-Query Attention） 是一种介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力变体。在GQA中，query头被分为若干组，每组共享同一对key/value头，从而在保持模型质量的同时显著减少KV缓存大小和内存带宽需求。GQA的组结构对剪枝策略提出了额外约束：剪枝必须保持query头与key/value头之间的分组比例关系，否则会破坏注意力机制的结构完整性，导致精度骤降。PARC的GQA感知选择策略正是在这一约束下评估各注意力维度的重要性，确保剪枝后的结构仍符合GQA的分组规则，同时满足核心数整除的硬件对齐要求。

按生命周期重组的KV缓存

运行时侧，PARC将缓存内容按生命周期拆分为三类：系统提示、持久化文本历史、瞬态视觉观察。系统提示跨轮次稳定存在，文本历史随工具执行逐步更新，而视觉观察仅在当前轮次有效。通过在执行工具调用时同步更新文本历史，历史图像得以从持久化缓存中移出，固定内存预算下可容纳的交互轮数随之增加。

这种按生命周期分层的做法，本质上把KV缓存从“按时间顺序追加”改成了“按有效期管理”。对于以GUI操作为典型场景的多模态Agent而言，视觉输入是缓存膨胀的主要来源，将其标记为瞬态数据能够释放可观的持久化空间。

一阶Taylor重要性评估 是结构化剪枝中常用的通道/维度重要性度量方法。其核心思想是：对损失函数关于某个注意力维度的输出做一阶Taylor展开，以“梯度×激活值”的乘积近似该维度被移除后对损失的影响。乘积绝对值越小，说明该维度对模型输出的贡献越微弱，剪枝后精度损失越小。相比基于权重范数的启发式方法，Taylor评估利用了具体输入数据上的梯度信息，能更准确地反映维度在实际任务分布下的重要性。PARC将其与GQA结构约束结合，在满足硬件对齐条件的前提下优先剪除Taylor重要性最低的维度，从而在结构约束与精度保持之间取得平衡。

实测表现：精度无损与效率提升

研究在2,062个GUI动作上评估了增量接口的表现，未观察到精度回退。任务感知的恢复训练将动作类型精度差距修复至98.7%，坐标命中率恢复至原始水平。在七核部署条件下，硬件对齐剪枝使视觉编码器延迟降低11.4%，解码吞吐提升23.8%，每堆高水位内存下降12.7%。

这些数字背后有两点值得注意。其一，恢复训练能够补回绝大部分剪枝带来的精度损失，说明结构化剪枝配合针对性微调是可行的端侧部署路径。其二，延迟与吞吐的改善同时伴随内存占用的下降，意味着PARC在资源受限设备上具备多维度的实用价值，而非以内存换速度的简单权衡。

对端侧Agent工程的启示

PARC的价值不止于一组实验数字，它提示端侧Agent的优化需要模型与系统协同设计。剪枝策略若脱离目标硬件的核心拓扑，收益会被分区开销抵消；缓存管理若不分层生命周期，再大的内存也填不满多轮视觉交互的缺口。

对于正在将多模态Agent推向边缘设备的团队，这套思路提供了可借鉴的检查清单：先确认注意力维度与核心数的整除关系，再审视KV缓存中哪些内容真正需要跨轮持久化。两者结合，才可能在固定预算内撑起更多交互轮次。