[控场AI]
概念Verbalize, Edit, Reconstruct, Steer

VERS

一种通过编辑模型激活的自然语言解释来引导推理过程的方法。它利用自然语言自编码器对激活进行文本解释和重建,在怀疑点处编辑解释并提取固定方向,在推理时施加该方向以减少冗余推理步骤。

时间轴 (近 90 天)

11月3日

VERS(Verbalize, Edit, Reconstruct, Steer)是一种通过编辑自然语言解释并重建激活来引导推理模型的方法。

待验证50%
11月3日

VERS在GSM8K完整测试集上将生成的token数量减少了45.8%,准确率仅下降0.82个百分点。

待验证50%
11月3日

VERS在MATH-500上节省31.3%的token,准确率下降3.05个百分点。

待验证50%
11月3日

当强度减半时,VERS在token与准确率之间的权衡介于已发表方法SEAL和DEER之间。

待验证50%
11月3日

通过拟合仿射映射并为每个模型调整强度,VERS的方向可以迁移到更大的Qwen3模型,最大至235B-A22B,并节省30-35%的token。

待验证50%
11月3日

在竞赛问题上,VERS在所有模型规模上均损失3-7个百分点的准确率。

待验证50%
11月3日

VERS的固定方向未能区分必要的检查与不必要的检查,这意味着VERS在需要严谨推理的任务上可能不适用,且其机制尚无法精确控制哪些推理步骤被跳过。

待验证50%
11月3日

VERS的核心是利用自然语言自编码器(NLA)对模型激活进行文本解释和重建,并通过编辑解释来引导推理过程。

待验证50%

全部知识事实 (8)

来源文章