VSArena
面向VLA(视觉-语言-动作)模型的开源机器人评测基准,强制策略仅使用RGB相机图像与自然语言指令,禁止访问特权状态,采用ELO评分排名,旨在公平评测纯感知驱动的机器人策略能力
时间轴 (近 90 天)
ELO机制在机器人策略评测中的挑战在于任务场景较少、提交样本稀疏,早期分数方差较大
ONISCOR推出了VSArena 1.0,一个面向具身AI的开放浏览器基准测试
VSArena的核心任务是让策略模型按照青色→橙色→品红的顺序完成物体堆叠
VSArena的物理仿真直接在浏览器中运行,由Rapier物理引擎驱动
VSArena中策略模型通过WebSocket与托管的评测框架通信,接收观测数据并发回动作指令
VSArena为VLA策略引入了ELO评分机制,公开ELO榜单只针对VLA策略
VSArena的成绩经过签名验证,使用摘要(digest)加Ed25519数字签名以保证可追溯和防篡改
VSArena区分演示(Studio模式)和正式提交两条路径,Studio模式的演示不会写入正式榜单
VSArena的正式提交过程官方称大约只需10分钟
VSArena提供Studio模式试玩入口vsarena.vercel.app/simulation和正式提交入口vsarena.vercel.app/submit
还有 13 条时间轴事件
全部知识事实 (20)
VSArena在GitHub上公开了eval-integrity文档详述签名与防作弊机制,并开设了Discord频道
50%待验证ELO机制在机器人策略评测中的挑战在于任务场景较少、提交样本稀疏,早期分数方差较大
50%待验证VSArena的核心任务是让策略模型按照青色→橙色→品红的顺序完成物体堆叠
50%待验证VSArena的物理仿真直接在浏览器中运行,由Rapier物理引擎驱动
50%待验证VSArena中策略模型通过WebSocket与托管的评测框架通信,接收观测数据并发回动作指令
50%待验证VSArena为VLA策略引入了ELO评分机制,公开ELO榜单只针对VLA策略
50%待验证VSArena的成绩经过签名验证,使用摘要(digest)加Ed25519数字签名以保证可追溯和防篡改
50%待验证VSArena区分演示(Studio模式)和正式提交两条路径,Studio模式的演示不会写入正式榜单
50%待验证VSArena的正式提交过程官方称大约只需10分钟
50%待验证VSArena提供Studio模式试玩入口vsarena.vercel.app/simulation和正式提交入口vsarena.vercel.app/submit
50%待验证在 VSArena 的 VLA 赛道中,策略模型只能获得一张 128×128 的 RGB 相机图像和一条自然语言的堆叠指令
50%待验证在 VSArena 的 VLA 赛道中,方块的精确位姿不会被传递给策略模型
50%待验证VSArena 的评分系统内部使用真实位姿评估空间精度与任务完成度,但这些真实位姿仅裁判可见,不会流入策略的输入
50%待验证VSArena 保留了基于特权位姿的 state-based 赛道,但将其定位为独立的调试赛道,不写入公开的 ELO 排名
50%待验证VSArena 的浏览器内演示环境 Studio 仅供观摩与开发,不会向公开排行榜提交成绩
50%待验证VSArena 的公开 ELO 排名只来自一个托管的服务端评测框架,所有打分都在服务器端完成
50%待验证VSArena 的代码仓库和文档托管在 GitHub 的 NovaCoding-G/VSArena
50%待验证VSArena 是单人开发、处于早期阶段的项目
50%待验证VSArena 的赛道分离设计(VLA 与 state 显式区分)是对社区反馈的直接回应
50%待验证ONISCOR推出了VSArena 1.0,一个面向具身AI的开放浏览器基准测试
50%