视觉语言模型

VLA将预训练的视觉-语言模型与机器人动作策略直接对接，使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理

VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL

RLVR是基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards），通过设计可验证的奖励信号引导模型优化

视觉语言模型(VLM)能够同时处理图像和文本信息,建立两者之间的语义关联

VLM（视觉语言模型）是一类同时接受图像与文本输入、并在共享表示空间中进行推理的模型。

VLM裁判受限于输入给它的有限观察帧，若关键状态变化发生在采样帧之间或隐藏在需要滚动、切页才能看到的界面中，VLM便无法获知，且对细微状态差异容易出现幻觉式确认。

传统自动验证方法主要分为两类：让视觉语言模型（VLM）充当裁判对轨迹打分，以及生成程序直接检查应用的可访问状态。

论文实验表明，当前最先进的视觉语言模型在时长推断任务上表现挣扎，即使使用多轮思维链（Chain-of-Thought）提示也收效有限。

ZAP（Zero-real Agent Policy）是一种用预训练视觉语言模型提供世界理解、用仿真环境教会动作技能的机器人策略方法，全程不使用真实机器人数据。

医疗VLM的离散token输出表示与连续测量任务本质存在不匹配，这是一个普遍性问题。

现有医疗VLM将测量值作为文本token序列生成，token分类损失不直接优化数值误差，导致对相近数值（如1.36和1.37）的区分能力被词表结构稀释。

VLM对训练时未见过的、快速演变的网络迷因往往缺乏认知。

现有基于视觉语言模型（VLM）的图表评估基准通常缺乏对图表类型的系统分类，对所有图表采用通用标准。

人类偏好引导的校准不改变 VLM 参数，而是调整其评判框架，因此成本更低、可解释性更强。

VLM 在无约束条件下评判标准容易漂移，且对细粒度视觉细节（如坐标轴标签、箭头指向）的敏感度有限。

验证数学步骤的等价性本质上需要符号推理能力，而当前视觉语言模型主要依赖模式匹配和语言先验，不具备严格的符号计算引擎。

视觉语言模型在需要精确推导的数学批改中可能出现“幻觉”，给出看似合理但错误的批注。

视觉语言模型对手写符号的空间布局、上下标、分式结构较为敏感，手写场景下容易发生误读，这是 Penmentor 类应用准确率的主要瓶颈之一。

一种常见的工程缓解方案是让视觉模型只负责识别并转写手写内容，再把转写结果交给符号计算系统（如 SymPy、Mathematica）做等价性验证，最后由语言模型组织反馈语言。

现有微调策略在物体目标导航中普遍缺乏两项关键能力：注意到视野中的目标物体，以及准确估计目标物体与自身的距离。