PARC
面向端侧多模态Agent的部署优化框架,通过并行对齐的结构化剪枝与轮次感知的KV缓存生命周期管理,同时解决硬件核心对齐和缓存膨胀问题。
时间轴 (近 90 天)
PARC(Parallelism-Aligned Pruning and Round-Aware Context Reuse)是一种来自rss的研究方法,旨在从模型结构与运行时缓存两个层面解决端侧多模态Agent部署的失配问题。
PARC的结构化剪枝约束条件要求剪枝后的注意力维度必须能被目标核心数整除,同时保持query与key/value的比例以及每个头的维度不变。
PARC的参数匹配对照组实验表明,在参数量相同的情况下,对齐核心数的剪枝版本才能获得速度收益,说明性能提升主要来自核心对齐而非单纯的参数减少。
PARC将KV缓存内容按生命周期拆分为三类:系统提示、持久化文本历史、瞬态视觉观察。
PARC通过在执行工具调用时同步更新文本历史,将历史图像从持久化缓存中移出,从而在固定内存预算下增加可容纳的交互轮数。
研究在2,062个GUI动作上评估了增量接口的表现,未观察到精度回退。
任务感知的恢复训练将动作类型精度差距修复至98.7%,坐标命中率恢复至原始水平。
在七核部署条件下,PARC的硬件对齐剪枝使视觉编码器延迟降低11.4%,解码吞吐提升23.8%,每堆高水位内存下降12.7%。
恢复训练能够补回绝大部分剪枝带来的精度损失,说明结构化剪枝配合针对性微调是可行的端侧部署路径。
全部知识事实 (9)
PARC(Parallelism-Aligned Pruning and Round-Aware Context Reuse)是一种来自rss的研究方法,旨在从模型结构与运行时缓存两个层面解决端侧多模态Agent部署的失配问题。
50%待验证PARC的结构化剪枝约束条件要求剪枝后的注意力维度必须能被目标核心数整除,同时保持query与key/value的比例以及每个头的维度不变。
50%待验证PARC的参数匹配对照组实验表明,在参数量相同的情况下,对齐核心数的剪枝版本才能获得速度收益,说明性能提升主要来自核心对齐而非单纯的参数减少。
50%待验证PARC将KV缓存内容按生命周期拆分为三类:系统提示、持久化文本历史、瞬态视觉观察。
50%待验证PARC通过在执行工具调用时同步更新文本历史,将历史图像从持久化缓存中移出,从而在固定内存预算下增加可容纳的交互轮数。
50%待验证研究在2,062个GUI动作上评估了增量接口的表现,未观察到精度回退。
50%待验证任务感知的恢复训练将动作类型精度差距修复至98.7%,坐标命中率恢复至原始水平。
50%待验证在七核部署条件下,PARC的硬件对齐剪枝使视觉编码器延迟降低11.4%,解码吞吐提升23.8%,每堆高水位内存下降12.7%。
50%待验证恢复训练能够补回绝大部分剪枝带来的精度损失,说明结构化剪枝配合针对性微调是可行的端侧部署路径。
50%