[控场AI]
模型REKI

REKI 2.4B

Kyutai 联合 Inria 发布的视觉-语言-动作(VLA)机器人策略模型,采用 VLM 主干加 Flow Matching 动作专家架构,通过寄存器 Token 实现短期记忆,支持高频闭环控制

时间轴 (近 90 天)

10月19日

Kyutai 联合 Inria 与 École des Ponts 发布了 REKI 2.4B 模型,权重已在 Hugging Face 开放下载。

待验证50%
10月19日

REKI 2.4B 总参数 2.4B,由 2.2B 参数的视觉-语言主干和 200M 参数的 Flow Matching 动作专家组成。

待验证50%
10月19日

REKI 使用 32 个可学习寄存器 Token 在动作专家内部实现短期记忆,覆盖最近 3 秒的立体观测。

待验证50%
10月19日

寄存器 Token 每帧仅增加约 2 MiB 显存和 0.1 毫秒推理增量延迟。

待验证50%
10月19日

REKI 的寄存器 Token 采用注意力掩码约束,永远不读取动作 Token,因此只需在 Euler 积分循环开始前计算一次。

待验证50%
10月19日

REKI 预训练使用 10 亿帧视觉数据和 1220 万条视觉-语言多模态样本,在 32 块 H100 上训练 20 万步。

待验证50%
10月19日

REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。

待验证50%
10月19日

REKI 在 LIBERO-Plus 基准上取得 90.4% 的成绩,超过 Qwen-RobotManip(89.0%)和 π0.5(85.7%)。

待验证50%
10月19日

REKI 在 RoboTwin 基准上将振荡回合率从 18.6% 降至 4.1%。

待验证50%
10月19日

REKI 在单块 H100 上以 torch.compile 编译、BF16 精度、两路 256x256 RGB 输入,产出完整动作块仅需 21.8 毫秒,比 π0.5(33.8 ms)快 35.5%。

待验证50%

还有 4 条时间轴事件

全部知识事实 (14)

待验证

REKI 预训练保留每个数据集原生的控制约定,每种机器人形态通过专属状态 MLP 加 AdaRMSNorm 进入动作专家。

50%
待验证

REKI 2.4B 总参数 2.4B,由 2.2B 参数的视觉-语言主干和 200M 参数的 Flow Matching 动作专家组成。

50%
待验证

REKI 使用 32 个可学习寄存器 Token 在动作专家内部实现短期记忆,覆盖最近 3 秒的立体观测。

50%
待验证

寄存器 Token 每帧仅增加约 2 MiB 显存和 0.1 毫秒推理增量延迟。

50%
待验证

REKI 的寄存器 Token 采用注意力掩码约束,永远不读取动作 Token,因此只需在 Euler 积分循环开始前计算一次。

50%
待验证

REKI 预训练使用 10 亿帧视觉数据和 1220 万条视觉-语言多模态样本,在 32 块 H100 上训练 20 万步。

50%
待验证

REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。

50%
待验证

REKI 在 LIBERO-Plus 基准上取得 90.4% 的成绩,超过 Qwen-RobotManip(89.0%)和 π0.5(85.7%)。

50%
待验证

REKI 在 RoboTwin 基准上将振荡回合率从 18.6% 降至 4.1%。

50%
待验证

REKI 在单块 H100 上以 torch.compile 编译、BF16 精度、两路 256x256 RGB 输入,产出完整动作块仅需 21.8 毫秒,比 π0.5(33.8 ms)快 35.5%。

50%
待验证

REKI 在仅 50 条演示、1 小时训练(3000 步)的条件下即可在 UR5 等真实硬件上微调收敛。

50%
待验证

单帧无记忆策略的 RoboTwin 振荡率为 18.6%,多帧历史注入 VLM 主干的振荡率为 5.8%,REKI 为 4.1%。

50%
待验证

REKI 采用 Flow Matching 生成动作,推理时使用 10 步 Euler 积分。

50%
待验证

Kyutai 联合 Inria 与 École des Ponts 发布了 REKI 2.4B 模型,权重已在 Hugging Face 开放下载。

50%

来源文章