BEAKER

研究者提出了 BEAKER 基准，用于评估自驱动化学实验室中多模态大模型的具身行动能力、知识、实验操作与推理。

BEAKER 包含 1,000 条由化学及具身 AI 领域专家人工创建并审核的问答样本，覆盖 11 种图像与视频任务类型，未使用 AI 辅助生成或标注。

BEAKER 的任务类型包括可供性定位、轨迹规划、设备/状态/安全识别、装置搭建、操作与步骤推理以及时序流程推理。

研究者以离线、单轮问答的设置评估了 28 个多模态模型，涵盖通用型、科学导向型、化学专用型以及具身型 MLLMs。

评估结果显示，被评测模型能够跟随视频中的大致实验步骤，理解宏观顺序，即粗粒度流程理解尚可。

评估结果显示，模型难以把动作落到可操作的区域与可行轨迹上，精细落地能力严重不足。

评估结果显示，模型对实验室器皿、状态与安全规范的细粒度识别不够精确。

评估结果显示，在步骤数量稍多的程序中，模型容易打乱顺序，中等长度流程排序吃力。

BEAKER 的离线、单轮问答评测设置便于大规模、可复现地比较模型能力，但会低估或高估真实部署表现，其分数应理解为模型具身认知的上限估计，而非实际实验室操作成功率的直接预测。

BEAKER 的设计思路提示，具身智能的评测需要与具体实验场景、物理约束和安全规范深度绑定，而非仅依赖通用视觉问答。