模型LLaVA-UHD v4
LLaVA-UHD v4
LLaVA 系列的多模态视觉编码架构,提出 ViT 内部早期视觉 token 压缩技术,通过合并或丢弃浅层冗余 token 降低后续计算量,被多个端侧多模态模型采用
时间轴 (近 90 天)
10月12日
MiniCPM-V 4.7 在视觉侧采用了来自 LLaVA-UHD v4 的 ViT 内部早期压缩技术。
待验证50%
LLaVA 系列的多模态视觉编码架构,提出 ViT 内部早期视觉 token 压缩技术,通过合并或丢弃浅层冗余 token 降低后续计算量,被多个端侧多模态模型采用
MiniCPM-V 4.7 在视觉侧采用了来自 LLaVA-UHD v4 的 ViT 内部早期压缩技术。