[控场AI]
· 6 分钟阅读· 3,064 字

Chronos Policy:让机器人策略感知真实物理时间

Chronos Policy:让机器人策略感知真实物理时间

Chronos Policy 将物理时间显式引入机器人扩散策略,提升动态与多传感场景下的部署鲁棒性。

现有机器人策略普遍将时间隐含在序列位置索引中,默认每步间隔恒定,一旦遇到观测频率波动、传感器延迟或推理耗时抖动,策略便会失准。Chronos Policy 提出将物理时间戳作为显式输入,条件化于观测采集时刻与动作执行时刻。在架构层面,时间感知 RoPE 将真实时间戳编码进注意力的几何结构,比直接叠加时间戳嵌入更稳健,且不污染 token 语义特征。在训练层面,对观测采样与动作块起始时刻做时序随机化,使策略天然支持异步、多频率传感数据。实验表明,该方法在动态任务和多传感任务上带来明确性能提升,在准静态任务上保持性能的同时增强时序鲁棒性,是一种「有则更好、无害则守」的轻量增量设计。

当机器人策略忽略了时间,会发生什么

当前主流的机器人策略通常把感知与控制转化为固定频率的「观测-动作」序列,物理时间只是隐含在序列的位置顺序中。换句话说,模型默认每一步之间的时间间隔是恒定的,时间信息藏在了序列索引里,而非被显式建模。

这个假设在理想条件下运转良好,但现实部署远没有那么规整。观测频率可能波动,传感器可能存在不同的延迟,推理本身的耗时也会随负载变化。一旦这些时序条件偏离训练时的设定,隐含时间的策略就会失准——因为它根本不知道「现在距离上一次观测过了多久」。

Chronos Policy 针对的正是这一痛点。它的核心主张很直接:把物理时间变成策略的显式输入,让模型知道每一次观测的采集时刻,以及每一个动作期望被执行的时刻。

Chronos Policy: Learning Robot Policies on Physical Time

两种把时间塞进扩散模型的方法

Chronos Policy 建立在扩散 Transformer(diffusion transformer)架构之上,研究者探索了两种将物理时间引入模型的途径。

时间戳嵌入 vs 时间感知 RoPE

第一种方法是把时间戳嵌入(timestamp embeddings)直接叠加到 token 特征上,相当于给每个 token 额外标注一个「时间标签」。第二种方法则更巧妙——通过时间感知的旋转位置编码(time-aware RoPE),把物理时间编码进位置编码本身。

实验给出的结论是:时间感知 RoPE 更加稳健。它的优势在于让注意力机制可以直接依赖物理时间来计算 token 之间的关系,同时保持 token 内容本身不被污染。这意味着模型在建模「谁该关注谁」时,天然地考虑了时间间隔,而不是把时间信息硬塞进语义特征里。

这种设计上的取舍很有代表性:相比简单地增加特征维度,让时间作用于注意力的几何结构往往能带来更干净、更可迁移的表征。

旋转位置编码(RoPE,Rotary Position Embedding)最初由苏剑林等人提出,用于替代 Transformer 中传统的绝对位置编码方案。其核心思想是:不直接把位置信息加到 token 的特征向量上,而是通过旋转变换作用于注意力计算中的 Query 和 Key 向量,使得两个 token 之间注意力分数只依赖于它们的相对位置,而非各自的绝对位置。这一特性让 RoPE 天然具备外推能力,也更易于推广到连续的、非整数的位置索引。

时间感知 RoPE 正是利用了这一特性:将原本代表「序列中第几个 token」的整数索引,替换为传感器采集或动作执行的真实物理时间戳(例如以秒为单位的浮点数)。注意力机制因此可以直接感知两次观测之间间隔了多久——0.1 秒和 1 秒的间隔会在几何上产生不同的旋转角度,进而影响信息聚合的方式。相比之下,把时间戳拼接到 token 特征向量里,模型需要额外学习「如何从语义空间中解读时间差」,干扰了特征本身的语义结构,也更难泛化到训练中未见过的时间间隔。

训练阶段的时间随机化策略

Chronos Policy 的另一个关键设计在训练环节。研究者在训练中对两件事做了时序随机化:一是随机采样哪些观测被使用,二是随机决定动作块(action chunk)从何时开始执行。

这样做的目的,是让策略在训练阶段就接触到部署中可能出现的各种感知与执行节奏,而不是只见过一种固定时序。模型因此被迫学会在不同的时间条件下保持稳定输出,提升了对时序变化的泛化能力。

这一机制还带来一个额外好处:它让策略能够从异步、多频率的数据中学习,而无需把所有测量强行对齐到一个固定的时间网格上。对于那些传感器天然就以不同频率运行的系统(例如高频力觉配合低频视觉),这种灵活性尤其重要——过去为了对齐而做的插值或丢帧,往往本身就是误差来源。

动作块(action chunk)是当前扩散策略中常见的输出形式,指模型一次性预测未来若干步的动作序列,而非逐步输出单个动作。这种设计来自 ACT、Diffusion Policy 等工作,好处是减少了自回归式逐步推理的累积误差,同时允许模型对短时运动轨迹做整体规划。然而,动作块的设计隐含了一个时序约定:块中每个动作对应的执行时刻是固定间隔排列的。一旦实际执行节奏因推理延迟或系统抖动而偏移,整块动作的时序意义就会错位。Chronos Policy 通过在训练中随机化动作块的起始执行时刻,迫使模型学会「给定这个块应当从时刻 t 开始执行」的条件化生成,而非默认从某个固定偏移处开始,从根本上消解了这一隐含约定带来的脆弱性。

实验表现:动态任务与多传感任务的收益

在仿真与真实世界实验中,Chronos Policy 展现出几个层次的改进。

在动态任务上,观测到动作之间的时序至关重要,Chronos Policy 带来了明确的性能提升。这类任务中,「什么时候动」和「动什么」同样重要,显式建模时间直接转化为可衡量的收益。

在多传感任务上,不同观测之间的相对时序成为关键变量,Chronos Policy 同样表现更好。当多个传感器以不同节奏提供信息时,知道它们各自的时间戳,才能正确融合这些信号。

而在标准的准静态任务(quasi-static tasks)上,由于时序本身影响不大,Chronos Policy 保持了与基线相当的名义性能,同时提升了对感知和推理时序变化的鲁棒性。这一点很重要:它说明显式建模时间不是以牺牲常规场景为代价换取动态场景的收益,而是一种「有则更好、无害则守」的增量设计。

准静态任务(quasi-static tasks)是机器人操作研究中的一类常见基准,指机器人与环境的交互过程变化缓慢,物体基本保持静止,动作的精确时序对结果影响有限——典型例子包括桌面上的抓取与放置、开抽屉、插销等。这类任务是早期模仿学习和扩散策略论文的主要验证场景,正因如此,现有策略的隐式时间假设在这里几乎不会暴露问题。相比之下,动态任务(如接住运动中的物体、配合传送带作业)和多模态传感任务(如视觉与力觉融合)对时序精度要求更高,是检验时间建模能力的更严格场景。Chronos Policy 在准静态任务上性能持平这一结果,说明显式时间建模带来的是「补短板」而非「以强换弱」的权衡,对于希望将同一策略框架跨任务类型部署的工程实践而言,这是一个重要的可靠性保证。

为什么这项工作值得关注

Chronos Policy 触及了机器人学习中一个长期被低估的问题:时间的隐式假设。随着机器人策略越来越多地部署到真实、不可控的环境中,固定频率、固定延迟的理想条件几乎不存在。推理延迟会抖动,传感器会异步,这些都是部署而非实验室里的常态。

把物理时间从序列位置中解放出来,变成一个可以被模型显式推理的量,是让策略真正走向稳健部署的一步。时间感知 RoPE 与训练时的时序随机化,构成了一套相对轻量但针对性强的解决方案,既不需要重构整个架构,又能带来跨任务的泛化改进。

对于关注具身智能与机器人基础模型的从业者而言,这项工作提供了一个清晰的思路:当策略要面对真实世界的时间不确定性时,与其让模型隐式地去猜,不如直接告诉它时间是什么。

#Chronos Policy#机器人策略#物理时间建模#扩散 Transformer#时间感知 RoPE#具身智能#多传感融合#动作预测
分享:

相关推荐