HexaShell
一种用于机器人操作的“薄壳”框架,强制视觉语言模型(VLM)直接编写可执行代码控制机器人,仅提供原始RGB图像和结构化日志,用于检验VLM的空间推理与编程能力
时间轴 (近 90 天)
HexaShell是一个“薄壳”框架,迫使VLM扮演全栈编程智能体角色,直接为真实机器人操作编写可执行代码,仅接收原始RGB图像,编写代码后读取日志迭代修正。
在HexaShell实验中,机器人首次抓取圆柱体失败,VLM根据日志将接近高度提高4厘米后第二次尝试成功。
据HexaShell项目团队公布的数据,在RLBench拾放任务中,VLM在三次尝试内达到78%的成功率。
HexaShell在Meta-World开门任务中成功率为62%。
HexaShell在自定义工具使用(螺丝刀插入)任务中成功率为45%。
在HexaShell的失败模式中,空间推理错误(深度误估)约占失败总数的30%,是仅用RGB时最大的瓶颈。
在HexaShell的失败模式中,时序顺序错误约占15%,令牌限制截断约占10%。
消融实验表明,在VLM和机器人之间加入学习到的运动规划器可将RLBench成功率提升至约90%。
HexaShell暴露的部署风险包括不受过滤的命令权限(错误move_to()可能驱动机器臂进入有人区域)、深度感知瓶颈和令牌限制问题。
高优先级缓解措施是部署实时安全包装器,在执行前根据关节限制、碰撞地图和速度上限验证每个运动原语。
还有 1 条时间轴事件
全部知识事实 (11)
令牌限制问题可通过分块生成解决:VLM输出短脚本,机器人运行并流式传输新日志,VLM继续生成。
50%待验证HexaShell是一个“薄壳”框架,迫使VLM扮演全栈编程智能体角色,直接为真实机器人操作编写可执行代码,仅接收原始RGB图像,编写代码后读取日志迭代修正。
50%待验证据HexaShell项目团队公布的数据,在RLBench拾放任务中,VLM在三次尝试内达到78%的成功率。
50%待验证HexaShell在Meta-World开门任务中成功率为62%。
50%待验证HexaShell在自定义工具使用(螺丝刀插入)任务中成功率为45%。
50%待验证在HexaShell的失败模式中,空间推理错误(深度误估)约占失败总数的30%,是仅用RGB时最大的瓶颈。
50%待验证在HexaShell的失败模式中,时序顺序错误约占15%,令牌限制截断约占10%。
50%待验证消融实验表明,在VLM和机器人之间加入学习到的运动规划器可将RLBench成功率提升至约90%。
50%待验证HexaShell暴露的部署风险包括不受过滤的命令权限(错误move_to()可能驱动机器臂进入有人区域)、深度感知瓶颈和令牌限制问题。
50%待验证高优先级缓解措施是部署实时安全包装器,在执行前根据关节限制、碰撞地图和速度上限验证每个运动原语。
50%待验证在HexaShell实验中,机器人首次抓取圆柱体失败,VLM根据日志将接近高度提高4厘米后第二次尝试成功。
50%