概念token merging
token合并
一种免训练的推理期视觉token压缩方法,将相似的多个token聚合成一个代表向量,在保留信息的同时降低序列长度,常见做法如对相邻patch做二分匹配后求平均。
时间轴 (近 90 天)
10月14日
token剪枝指依据重要性评分直接丢弃部分视觉token,压缩率高但不可逆;token合并则把相似token聚合成代表向量,保留信息同时降低序列长度。
待验证50%
一种免训练的推理期视觉token压缩方法,将相似的多个token聚合成一个代表向量,在保留信息的同时降低序列长度,常见做法如对相邻patch做二分匹配后求平均。
token剪枝指依据重要性评分直接丢弃部分视觉token,压缩率高但不可逆;token合并则把相似token聚合成代表向量,保留信息同时降低序列长度。