Kyutai REKI 2.4B：32个寄存器Token重定义VLA机器人策略

机器人操作模型长期困在一个两难里：要么只看当前帧、没有时间记忆，在遮挡或对称场景下反复在两个姿态之间来回摆动；要么把多帧历史视频直接塞进视觉编码器，换来显存爆炸和不可接受的延迟。法国实验室 Kyutai 联合 Inria 与 École des Ponts 发布的 REKI 2.4B，用 32 个可学习寄存器 Token 在动作专家内部实现短期记忆，把这道题解开了——权重已在 Hugging Face 开放下载。

Kyutai REKI 2.4B VLA 架构：VLM 主干、32 个寄存器与 Flow Matching

为什么物理 AI 需要更聪明的记忆

纯数字的对话助手容忍几百毫秒的延迟，但工业机械臂和人形手臂需要 40 Hz 以上的闭环控制，也就是每周期不超过 25 毫秒。这个物理约束把大多数视觉-语言-动作（VLA）架构挡在门外。

无记忆的模型只根据瞬时画面动作，遇到遮挡就陷入感知混叠（perceptual aliasing）：机器人悬在碗上方准备抓取、和刚把碗放下，摄像头看到的画面几乎一样，策略于是不停地在前进和后退之间循环。而把 t-2、t-1、t 三帧视觉 Token 拼进 2.2B 参数的 VLM 主干，注意力开销直接翻三倍，显存与延迟双双失控。REKI 的选择是把记忆放到最轻的那个部件里去。

感知混叠（perceptual aliasing） 是机器人学与强化学习中一个经典问题：当两个不同的物理状态在当前观测下几乎无法区分时，仅依赖瞬时观测的策略就会给出矛盾甚至循环的动作。典型例子包括碗在桌上与碗被拿起后桌面留下的相似画面、对称物体的左右姿态、以及遮挡前后的局部视图。与部分可观测马尔可夫决策过程（POMDP）的框架对应，感知混叠本质上说明单帧观测不是充分统计量，必须引入历史信息或信念状态。机器人操作里常见的“前进—后退”振荡，正是策略在两个高置信但相互矛盾的姿态之间反复切换的表现，也是无记忆 VLA 在真实部署中最容易被察觉的失败模式之一。

架构解剖：2.2B 主干 + 200M 动作专家

REKI 采用严格的模块分离：一个 2.2B 参数的视觉-语言主干负责静态感知，一个 200M 参数、基于 Flow Matching 的动作专家负责生成连续轨迹。总参数 2.4B。

记忆机制的设计是全局的关键。模型维护 32 个学习得到的寄存器 Token，覆盖最近 3 秒的立体观测，但它们只住在动作专家内部，通过因果自注意力读取 t-1 秒和 t-2 秒的历史寄存器。代价是每帧约 2 MiB 显存，以及推理循环上区区 0.1 毫秒的增量。

更精妙的是注意力掩码的约束：寄存器永远不读动作 Token。在 Flow Matching 的 10 步 Euler 积分中，动作 Token 是带噪的、随时间步不断变化的；如果寄存器依赖它们，就得每帧重算 10 次。REKI 让寄存器只与当前帧的视觉、文本表示做交叉注意力，因此在 Euler 循环开始前算一次即可，循环中动作 Token 从缓存里查询现成的寄存器。

预训练数据：全部来自公开仓库

REKI 的预训练完全建立在公开数据集上，共 10 亿帧视觉数据和 1220 万条视觉-语言多模态样本，在仅 32 块 H100 上训练 20 万步。数据构成如下：

真实机器人遥操作（6.398 亿帧）：来自 DROID、BridgeData V2、AgiBot World，覆盖可变形物体抓取、亚毫米级精密插入、杂乱台面上的关节操作。
确定性物理仿真（1.939 亿帧）：在物理引擎中生成，随机变化纹理、光照与接触摩擦，用于抵御分布外偏移。
人类第一视角操作视频（1.709 亿帧）：来自 EgoDex 与 EgoVerse，让视觉主干在机械耦合之前先吸收人类运动意图与手眼协调的先验。

一个被特别强调的工程决策是：预训练阶段保留每个数据集原生的控制约定，而不强行把末端执行器笛卡尔增量与关节角空间统一重映射。每种机器人形态通过专属的状态 MLP 加自适应归一化层（AdaRMSNorm）进入动作专家，从而在 UR5 这类真实硬件上微调时保持干净的迁移——只需 50 条演示、1 小时训练（3000 步）即可收敛。

Flow Matching 是一类生成式建模方法，目标是学习一个把简单先验分布（通常是高斯噪声）连续变换到目标动作分布的向量场。训练时对噪声与真实动作做插值，让网络回归对应的速度场；推理时从噪声出发，用数值积分器（如 Euler 法）沿学到的速度场逐步推进，得到最终动作序列。与扩散策略相比，Flow Matching 常能用更少的积分步数生成高质量样本，REKI 采用的是 10 步 Euler 积分。这解释了文中“动作 Token 在积分过程中是带噪且随步数变化”的说法：若寄存器依赖动作 Token，就必须在 10 个积分步里反复重算；反之则只需在循环前算一次。

寄存器 Token（register tokens） 最初在视觉 Transformer 中被提出，用于给模型提供一组不直接对应输入 patch 的“临时工作区”，吸收全局信息并减少注意力图中的高范数伪影。REKI 把这套思路迁移到动作专家：32 个可学习 Token 不是观测的一部分，而是模型内部的记忆槽，通过因果自注意力在时间上串联最近 3 秒的历史，再与当前帧视觉、文本表示做交叉注意力。由于它们不属于任何输入模态，其数量与更新方式可以独立于主干规模设计，这也是把记忆下沉到 200M 动作专家仍然有效的原因。

AdaRMSNorm（Adaptive RMSNorm）是 RMSNorm 的条件化变体：先按均方根对激活做归一化，再用由外部条件信号（这里是机器人形态的状态向量）经小型 MLP 生成的缩放与偏移参数进行仿射变换，作用类似自适应层归一化（AdaIN）在生成模型中的用法。在 REKI 中，每种机器人形态通过专属状态 MLP 加 AdaRMSNorm 注入动作专家，使同一套预训练权重能适配 UR5、Franka Panda、ALOHA 等不同运动学结构，而不必强行统一末端执行器增量与关节角空间的表示。

基准测试：更小体量，更强泛化

REKI 在 LIBERO-Plus、LIBERO 四个套件、RoboTwin 2.0 和 RoboCasa365 上与当代主流策略正面交锋，对手包括 Qwen-RobotManip（4.7B）、Physical Intelligence π0.5（3.3B）、AMAP ABot-M0（4.6B）和 RLDX-1。

基准对比：Kyutai REKI 2.4B 与同期视觉运动策略

三个结论值得关注：

分布外泛化领先：在 LIBERO-Plus 上取得 90.4%，超过 4.7B 的 Qwen-RobotManip（89.0%）与 π0.5（85.7%）。据报告，仅公开数据预训练这一项就在 Clean2Rand 上贡献 +13.8 个百分点，在严重杂乱场景下贡献 +30.3 个百分点。
消除姿态振荡：RoboTwin 上振荡回合率从 18.6% 降到 4.1%，RoboCasa365 提升 +5.4 个百分点。
循环时间领先：以 torch.compile 编译、BF16 精度、两路 256x256 RGB 输入（顶视与腕部），单块 H100 上产出完整动作块仅需 21.8 毫秒，比 π0.5（33.8 ms）快 35.5%，接近 ABot-M0（46.1 ms）的两倍速度。

数据之外的参照系：分层 Physical AI 的部署现实

原文还给出了一个值得留意的对比框架：在实际工业部署中，高层语义规划与底层视觉运动控制常被拆成两层。前者（文中以 GPT-6 Astra、Claude Fable 5.1、DeepSeek^广告 4.1、Gemini 3.8 Flash Cyber 为例）以 1–2 Hz 分解任务、诊断异常、重排碰撞约束；后者（REKI）以约 45 Hz 把子目标翻译成关节速度与力矩张量。这类分层栈的对比数据属于原文引述的行业评估，尚无独立第三方验证，读者可将其视作部署思路参考而非定论。

内存方案横向比较

记忆方案	额外显存	每块延迟影响	RoboTwin 振荡率	能否支撑 >40 Hz
REKI：动作专家内 32 寄存器	~2 MiB/帧	+0.1 ms	4.1%	可（单 H100 约 45.8 Hz）
单帧、无记忆策略	0	约 21.7 ms	18.6%	有风险
多帧历史注入 VLM 主干	>1400 MiB	+46.8 ms	5.8%	不可行

这张表解释了为什么把记忆下沉到 200M 的动作专家是个划算的交易：它换来了接近多帧方案的稳定性，却只付出接近无记忆方案的延迟。

部署路径：LeRobot gRPC 与 MCAP 数据策管

原文给出了把 REKI 检查点（kyutai/reki-2b-base、reki-2b-libero、reki-2b-robotwin）落到 UR5、Franka Panda 或 ALOHA 双臂平台上的三步流程：

数据策管：用 Voxel51 3.0 摄入 ROS 2 / MCAP 格式的同步遥操作日志（顶视与腕部相机流、jointstates 话题），按时间片段嵌入筛出 50 条无碰撞、无犹豫的演示。
快速微调：保留机器人原生的控制约定执行 3000 步微调，假体感知 MLP 适配本地运动学，不破坏 10 亿帧预训练权重。
异步推理服务：用 torch.compile（reduce-overhead 模式）以 BF16 编译计算图，每回合开始时调用 policy.reset() 清空 32 个寄存器，再通过低延迟 gRPC 通道以 45 Hz 运行动作块预测。

原文还附有一份完整的 Python 异步控制器实现，包含寄存器环形缓存、AdaRMSNorm 状态条件化、10 步 Euler ODE 积分与轨迹稳定性监控，可作为工程脚手架参考。

许可证与适用边界

六个官方检查点以 BF16 精度发布在 Hugging Face，采用 CC BY-NC-SA 4.0 许可：可用于学术研究、技术评估、科学复现与非商业原型，商业落地需另行授权。

对做机器人策略的团队来说，REKI 的启发不在于某个漂亮数字，而在于它示范了一种分工：重的东西保持轻，记忆放在离动作最近的地方。当硬件预算只有几十块 GPU、数据只能靠公开仓库时，这种设计选择可能比堆参数更有决定性。