VERS
一种通过编辑模型激活的自然语言解释来引导推理过程的方法。它利用自然语言自编码器对激活进行文本解释和重建,在怀疑点处编辑解释并提取固定方向,在推理时施加该方向以减少冗余推理步骤。
时间轴 (近 90 天)
VERS(Verbalize, Edit, Reconstruct, Steer)是一种通过编辑自然语言解释并重建激活来引导推理模型的方法。
VERS在GSM8K完整测试集上将生成的token数量减少了45.8%,准确率仅下降0.82个百分点。
VERS在MATH-500上节省31.3%的token,准确率下降3.05个百分点。
当强度减半时,VERS在token与准确率之间的权衡介于已发表方法SEAL和DEER之间。
通过拟合仿射映射并为每个模型调整强度,VERS的方向可以迁移到更大的Qwen3模型,最大至235B-A22B,并节省30-35%的token。
在竞赛问题上,VERS在所有模型规模上均损失3-7个百分点的准确率。
VERS的固定方向未能区分必要的检查与不必要的检查,这意味着VERS在需要严谨推理的任务上可能不适用,且其机制尚无法精确控制哪些推理步骤被跳过。
VERS的核心是利用自然语言自编码器(NLA)对模型激活进行文本解释和重建,并通过编辑解释来引导推理过程。
全部知识事实 (8)
VERS(Verbalize, Edit, Reconstruct, Steer)是一种通过编辑自然语言解释并重建激活来引导推理模型的方法。
50%待验证VERS在GSM8K完整测试集上将生成的token数量减少了45.8%,准确率仅下降0.82个百分点。
50%待验证VERS在MATH-500上节省31.3%的token,准确率下降3.05个百分点。
50%待验证当强度减半时,VERS在token与准确率之间的权衡介于已发表方法SEAL和DEER之间。
50%待验证通过拟合仿射映射并为每个模型调整强度,VERS的方向可以迁移到更大的Qwen3模型,最大至235B-A22B,并节省30-35%的token。
50%待验证在竞赛问题上,VERS在所有模型规模上均损失3-7个百分点的准确率。
50%待验证VERS的固定方向未能区分必要的检查与不必要的检查,这意味着VERS在需要严谨推理的任务上可能不适用,且其机制尚无法精确控制哪些推理步骤被跳过。
50%待验证VERS的核心是利用自然语言自编码器(NLA)对模型激活进行文本解释和重建,并通过编辑解释来引导推理过程。
50%