[控场AI]
基准VSArena VLA Benchmark

VSArena

面向VLA(视觉-语言-动作)模型的开源机器人评测基准,强制策略仅使用RGB相机图像与自然语言指令,禁止访问特权状态,采用ELO评分排名,旨在公平评测纯感知驱动的机器人策略能力

时间轴 (近 90 天)

9月23日

ELO机制在机器人策略评测中的挑战在于任务场景较少、提交样本稀疏,早期分数方差较大

待验证50%
9月23日

ONISCOR推出了VSArena 1.0,一个面向具身AI的开放浏览器基准测试

待验证50%
9月23日

VSArena的核心任务是让策略模型按照青色→橙色→品红的顺序完成物体堆叠

待验证50%
9月23日

VSArena的物理仿真直接在浏览器中运行,由Rapier物理引擎驱动

待验证50%
9月23日

VSArena中策略模型通过WebSocket与托管的评测框架通信,接收观测数据并发回动作指令

待验证50%
9月23日

VSArena为VLA策略引入了ELO评分机制,公开ELO榜单只针对VLA策略

待验证50%
9月23日

VSArena的成绩经过签名验证,使用摘要(digest)加Ed25519数字签名以保证可追溯和防篡改

待验证50%
9月23日

VSArena区分演示(Studio模式)和正式提交两条路径,Studio模式的演示不会写入正式榜单

待验证50%
9月23日

VSArena的正式提交过程官方称大约只需10分钟

待验证50%
9月23日

VSArena提供Studio模式试玩入口vsarena.vercel.app/simulation和正式提交入口vsarena.vercel.app/submit

待验证50%

还有 13 条时间轴事件

全部知识事实 (20)

待验证

VSArena在GitHub上公开了eval-integrity文档详述签名与防作弊机制,并开设了Discord频道

50%
待验证

ELO机制在机器人策略评测中的挑战在于任务场景较少、提交样本稀疏,早期分数方差较大

50%
待验证

VSArena的核心任务是让策略模型按照青色→橙色→品红的顺序完成物体堆叠

50%
待验证

VSArena的物理仿真直接在浏览器中运行,由Rapier物理引擎驱动

50%
待验证

VSArena中策略模型通过WebSocket与托管的评测框架通信,接收观测数据并发回动作指令

50%
待验证

VSArena为VLA策略引入了ELO评分机制,公开ELO榜单只针对VLA策略

50%
待验证

VSArena的成绩经过签名验证,使用摘要(digest)加Ed25519数字签名以保证可追溯和防篡改

50%
待验证

VSArena区分演示(Studio模式)和正式提交两条路径,Studio模式的演示不会写入正式榜单

50%
待验证

VSArena的正式提交过程官方称大约只需10分钟

50%
待验证

VSArena提供Studio模式试玩入口vsarena.vercel.app/simulation和正式提交入口vsarena.vercel.app/submit

50%
待验证

在 VSArena 的 VLA 赛道中,策略模型只能获得一张 128×128 的 RGB 相机图像和一条自然语言的堆叠指令

50%
待验证

在 VSArena 的 VLA 赛道中,方块的精确位姿不会被传递给策略模型

50%
待验证

VSArena 的评分系统内部使用真实位姿评估空间精度与任务完成度,但这些真实位姿仅裁判可见,不会流入策略的输入

50%
待验证

VSArena 保留了基于特权位姿的 state-based 赛道,但将其定位为独立的调试赛道,不写入公开的 ELO 排名

50%
待验证

VSArena 的浏览器内演示环境 Studio 仅供观摩与开发,不会向公开排行榜提交成绩

50%
待验证

VSArena 的公开 ELO 排名只来自一个托管的服务端评测框架,所有打分都在服务器端完成

50%
待验证

VSArena 的代码仓库和文档托管在 GitHub 的 NovaCoding-G/VSArena

50%
待验证

VSArena 是单人开发、处于早期阶段的项目

50%
待验证

VSArena 的赛道分离设计(VLA 与 state 显式区分)是对社区反馈的直接回应

50%
待验证

ONISCOR推出了VSArena 1.0,一个面向具身AI的开放浏览器基准测试

50%

来源文章