[控场AI]
模型Scalpel-VL

Scalpel-VL-1.7B

一个1.7B参数的视觉语言模型,采用「手术刀」式精准优化方法,通过识别并移除冗余视觉token、注意力头或中间层激活,仅用极少量恢复token完成微调,在保持性能的前提下实现推理加速

时间轴 (近 90 天)

9月11日

Scalpel-VL-1.7B宣称能在仅使用0.1B(1亿)恢复token的情况下,实现20%–30%的推理加速

待验证50%
9月11日

Scalpel-VL是一个1.7B参数的视觉语言模型

待验证50%
9月11日

Scalpel式方法的核心在于识别并移除计算过程中的冗余部分,然后仅用极少量恢复token微调模型使其适应裁剪后的结构

待验证50%
9月11日

若加速主要来自减少视觉token数量,则对prefill延迟改善更显著,对长文本生成的解码速度影响有限

待验证50%
9月11日

Scalpel-VL是来自社区的项目,目前公开信息相对有限,其加速数据的硬件、batch size、任务等benchmark细节尚未明确

待验证50%

全部知识事实 (5)

来源文章