REKI 2.4B
Kyutai 联合 Inria 发布的视觉-语言-动作(VLA)机器人策略模型,采用 VLM 主干加 Flow Matching 动作专家架构,通过寄存器 Token 实现短期记忆,支持高频闭环控制
时间轴 (近 90 天)
Kyutai 联合 Inria 与 École des Ponts 发布了 REKI 2.4B 模型,权重已在 Hugging Face 开放下载。
REKI 2.4B 总参数 2.4B,由 2.2B 参数的视觉-语言主干和 200M 参数的 Flow Matching 动作专家组成。
REKI 使用 32 个可学习寄存器 Token 在动作专家内部实现短期记忆,覆盖最近 3 秒的立体观测。
寄存器 Token 每帧仅增加约 2 MiB 显存和 0.1 毫秒推理增量延迟。
REKI 的寄存器 Token 采用注意力掩码约束,永远不读取动作 Token,因此只需在 Euler 积分循环开始前计算一次。
REKI 预训练使用 10 亿帧视觉数据和 1220 万条视觉-语言多模态样本,在 32 块 H100 上训练 20 万步。
REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。
REKI 在 LIBERO-Plus 基准上取得 90.4% 的成绩,超过 Qwen-RobotManip(89.0%)和 π0.5(85.7%)。
REKI 在 RoboTwin 基准上将振荡回合率从 18.6% 降至 4.1%。
REKI 在单块 H100 上以 torch.compile 编译、BF16 精度、两路 256x256 RGB 输入,产出完整动作块仅需 21.8 毫秒,比 π0.5(33.8 ms)快 35.5%。
还有 4 条时间轴事件
全部知识事实 (14)
REKI 预训练保留每个数据集原生的控制约定,每种机器人形态通过专属状态 MLP 加 AdaRMSNorm 进入动作专家。
50%待验证REKI 2.4B 总参数 2.4B,由 2.2B 参数的视觉-语言主干和 200M 参数的 Flow Matching 动作专家组成。
50%待验证REKI 使用 32 个可学习寄存器 Token 在动作专家内部实现短期记忆,覆盖最近 3 秒的立体观测。
50%待验证寄存器 Token 每帧仅增加约 2 MiB 显存和 0.1 毫秒推理增量延迟。
50%待验证REKI 的寄存器 Token 采用注意力掩码约束,永远不读取动作 Token,因此只需在 Euler 积分循环开始前计算一次。
50%待验证REKI 预训练使用 10 亿帧视觉数据和 1220 万条视觉-语言多模态样本,在 32 块 H100 上训练 20 万步。
50%待验证REKI 预训练数据全部来自公开数据集,包括 DROID、BridgeData V2、AgiBot World、EgoDex 与 EgoVerse 等。
50%待验证REKI 在 LIBERO-Plus 基准上取得 90.4% 的成绩,超过 Qwen-RobotManip(89.0%)和 π0.5(85.7%)。
50%待验证REKI 在 RoboTwin 基准上将振荡回合率从 18.6% 降至 4.1%。
50%待验证REKI 在单块 H100 上以 torch.compile 编译、BF16 精度、两路 256x256 RGB 输入,产出完整动作块仅需 21.8 毫秒,比 π0.5(33.8 ms)快 35.5%。
50%待验证REKI 在仅 50 条演示、1 小时训练(3000 步)的条件下即可在 UR5 等真实硬件上微调收敛。
50%待验证单帧无记忆策略的 RoboTwin 振荡率为 18.6%,多帧历史注入 VLM 主干的振荡率为 5.8%,REKI 为 4.1%。
50%待验证REKI 采用 Flow Matching 生成动作,推理时使用 10 步 Euler 积分。
50%待验证Kyutai 联合 Inria 与 École des Ponts 发布了 REKI 2.4B 模型,权重已在 Hugging Face 开放下载。
50%