LingBot-Touch
Robbyant 团队提出的自监督触觉编码器,借鉴 JEPA 思想在潜在空间预测被遮蔽的触觉信号表示,用于机器人灵巧操作任务。
时间轴 (近 90 天)
Robbyant 团队发表了论文 LingBot-Touch,提出在触觉预训练中预测被遮蔽接触的潜在表示比重建原始传感器信号更有效。
LingBot-Touch 的推理代码与检查点已经公开。
在触觉到视频的 top-5 召回任务上,使用 1K 小时数据时,JEPA 达到 32.1%,MAE 为 5.6%,VAE 为 4.4%。
数据量扩大到 4K 小时后,JEPA 在触觉到视频 top-5 召回任务上升至 49.3%,MAE 仍不足 9%,VAE 退化到 3.1%。
论文认为,由于触觉片段中绝大部分是近零背景,重建损失可以在不学习真实接触特征的情况下持续下降,因此重建目标在稀疏触觉信号上给出了错误的优化方向。
LingBot-Touch 训练时掩码比例从 40% 开始,在 300 步内逐步升至 80%。
直接以高掩码比例起步会导致模型把所有正在接触的 taxel 遮住,失去可学习信号,进而引发梯度爆炸。
LingBot-Touch 将磁式、压阻式和视触觉三类传感器数据通过规范化的指尖坐标与 5D RoPE 输入同一个共享 Transformer。
论文在 26 个真实机器人任务、4 种策略上评估,冻结编码器特征在 104 个策略与任务组合中有 89 个取得最高分。
在预训练中从未见过的磁式灵巧手上,LingBot-VLA 的得分从 57.21 提升到 75.04。
还有 2 条时间轴事件
全部知识事实 (12)
Robbyant 团队发表了论文 LingBot-Touch,提出在触觉预训练中预测被遮蔽接触的潜在表示比重建原始传感器信号更有效。
50%待验证在预训练中从未见过的磁式灵巧手上,LingBot-VLA 的得分从 57.21 提升到 75.04。
50%待验证Tiny 版本模型在约 4K 小时数据后性能趋于平缓,Small 版本则持续提升。
50%待验证在触觉到视频的 top-5 召回任务上,使用 1K 小时数据时,JEPA 达到 32.1%,MAE 为 5.6%,VAE 为 4.4%。
50%待验证数据量扩大到 4K 小时后,JEPA 在触觉到视频 top-5 召回任务上升至 49.3%,MAE 仍不足 9%,VAE 退化到 3.1%。
50%待验证论文认为,由于触觉片段中绝大部分是近零背景,重建损失可以在不学习真实接触特征的情况下持续下降,因此重建目标在稀疏触觉信号上给出了错误的优化方向。
50%待验证LingBot-Touch 训练时掩码比例从 40% 开始,在 300 步内逐步升至 80%。
50%待验证直接以高掩码比例起步会导致模型把所有正在接触的 taxel 遮住,失去可学习信号,进而引发梯度爆炸。
50%待验证LingBot-Touch 将磁式、压阻式和视触觉三类传感器数据通过规范化的指尖坐标与 5D RoPE 输入同一个共享 Transformer。
50%待验证论文在 26 个真实机器人任务、4 种策略上评估,冻结编码器特征在 104 个策略与任务组合中有 89 个取得最高分。
50%待验证LingBot-Touch 的推理代码与检查点已经公开。
50%待验证作者判断更大规模模型配合更多数据是触觉预训练的自然下一步,暗示该领域可能仍处于数据与容量的 scaling 早期阶段。
50%