[控场AI]
· 7 分钟阅读· 3,994 字

苹果机器人合成训练数据,英伟达RTX5090刷新规划速度

苹果机器人合成训练数据,英伟达RTX5090刷新规划速度

机器人从演示走向稳定任务:虚拟数据、毫秒规划与真机成功率标定能力边界。

本期 14 条资讯显示,机器人行业正从「能演示」迈向「能稳定完成任务」。苹果在 1000 个虚拟住宅中合成 300 小时训练数据,语书 G1 在 360 次真机实验中平均成功率达 91%;英伟达新版运动规划工具将计算压到 4.43 毫秒,真机取放周期缩短 34.6%。操作智能体生成程序已接近可用,但高难度齿轮啮合任务成功率 60% 仍低于人工的 90%。长程记忆仍是短板,分层策略在 9 项厨房任务中平均成功率仅 20.4%。仿真与数据侧,Cosmos 世界模型和触觉手套分别补上预测与感知维度。落地方面,进博会机器人拍照泡茶,菜鸟开放仓网做真机训练。谷歌与 OpenAI 分别在视频编辑和网络安全模型上迭代。整体呈现三条主线:数据生产工业化、算力下沉到控制、评估依赖真机重复实验。

苹果在虚拟环境中为人形机器人合成了大规模训练数据,英伟达则用新版运动规划工具把机械臂计算时间压到毫秒级。话说回来,谷歌和 OpenAI 分别在新模型上发力,进博会现场也出现了能拍照、泡茶的机器人。这一轮进展的共同点是:机器人正在从「能演示」走向「能稳定完成任务」。

苹果:1000 个虚拟住宅里合成 300 小时训练数据

据 B 站 UP 主「陨石简报」汇总,苹果在 1000 个虚拟住宅场景中为人形机器人合成了 300 小时训练数据。语书 G1 借此学会了侧身过门、俯身过桌、推箱和坐下等动作。在 6 个真实环境、6 种单项任务、每项各做 10 次的 360 次实验中,平均成功率达到 91%。

这组数据的意义不在于单点动作有多花哨,而在于「虚拟合成 + 真机验证」的闭环被跑通了。用虚拟住宅覆盖真实住宅的多样性,再用统一的任务清单做真机复测,等于给具身智能提供了一条可规模化的数据生产线。91% 的成功率说明这套数据在真实环境中具备迁移能力,但 6 类任务仍然偏基础,复杂长程任务的表现还有待观察。

**具身智能中的仿真到真实迁移(Sim-to-Real)**是指利用物理仿真环境生成训练数据,再迁移到真实机器人上执行任务的技术路线。其核心挑战在于弥合仿真与真实世界之间的「现实鸿沟」——光照、摩擦、传感器噪声等差异都可能导致策略在真机上失效。常见的应对手段包括域随机化(随机化纹理、质量、光照等参数)和系统辨识(校准仿真物理参数以匹配真实系统)。苹果在 1000 个虚拟住宅中合成数据,正是通过场景多样性覆盖真实住宅的分布,从而提升策略的泛化能力。91% 的真机成功率表明该闭环在基础任务上已初步跑通,但任务复杂度仍是迁移效果的关键变量。

英伟达:RTX5090 上平均规划时间 4.43 毫秒

英伟达发布了新版机械臂运动规划工具。在 3 公斤负载的规划测试中,RTX5090 的平均计算时间为 4.43 毫秒;换到配备 RTX6000 Ada 的真机上,团队记录了 53 个完整取放周期,平均每次 5.93 秒,比旧版缩短 34.6%。

运动规划长期是机械臂落地的瓶颈之一:算得慢,节拍就上不去;算得粗,轨迹就不安全。毫秒级的规划时间意味着上层可以更频繁地重规划,在动态环境里及时避障和纠偏。取放周期缩短三成以上,对产线节拍是直接收益。这条线的看点在于,GPU 通用算力正在被更深入地用于机器人底层控制,而不只是训练侧。

**运动规划(Motion Planning)*是机器人学中的经典问题:给定起始位姿和目标位姿,在满足关节限位、避障和动力学约束的前提下,计算出一条可执行轨迹。传统算法如 RRT、PRM 等在复杂场景中往往需要数十到数百毫秒,难以支撑高频重规划。英伟达将规划计算压到毫秒级,关键在于利用 GPU 并行化采样与碰撞检测——这类问题天然适合大规模并行处理。毫秒级规划使得机器人可以在执行过程中以更高频率重新规划,从而在动态环境中及时响应障碍物变化。这与「取放周期缩短 34.6%」直接相关:规划更快意味着等待更少,节拍更高。

操作智能体:从「能写」到「能跑」

北大、重情机器人核心与新加坡国立大学合作,让编码智能体编写并修改机械臂操作程序。在 8 项双臂真机任务中,有 7 项最终能运行写好的程序;插网线这类任务仍需在线智能体协助。开发阶段平均成功率为 91.1%,统计包含多版程序的尝试。

伯克利、英伟达和西门子则用 6 类仿真工位测试操作智能体。以齿轮啮合为例,两档难度各有 30 个实例:较难一档中,人工流程成功率为 90%,自动生成流程为 60%。团队计划在 11 月 9 日前开放代码。

两项工作放在一起看,结论比较清晰:智能体在「生成可运行程序」上已经接近可用,但在高难度、强约束的精细操作上,与人类工程师仍有明显差距。60% 对 90% 的差距,恰好标出了当前自动化的能力边界。

伯克利、英伟达和西门子

记忆与策略:分层方法仍有明显短板

北京通用人工智能研究院、中国科大等团队训练了足球策略,让语书 G1 从停球切换到带球或射门。真机用场外光学设备跟踪机器人和球,四项技能各测 20 次,平均停球时间为 1.84 秒,触球后球还会移动 1.07 米。

中国科大、同济大学等五所高校用 9 项厨房仿真任务测试机器人记忆:机器人要把杯子放回擦桌前的位置,也要记住找东西时开过几个抽屉。训练使用 1800 条成功示范,分层策略的 9 项平均成功率为 20.4%,而 π0.5 模型为 16.2%。

训练使用1800条成功示范

20% 上下的成功率说明,长程记忆和任务状态追踪仍是具身智能的硬骨头。机器人能完成单个动作,并不等于能记住「我已经开过哪几个抽屉」这类过程信息。分层策略略优于端到端模型,但两者都远未达到可部署水平。

**分层策略(Hierarchical Policy)**将复杂任务分解为高层任务规划与低层动作执行两个层级:高层负责决定「下一步做什么」(如先开抽屉再找杯子),低层负责「具体怎么做」(如机械臂如何运动到抽屉把手)。这种结构理论上更适合长程任务,因为高层可以在抽象空间中进行状态追踪和子任务切换。然而,分层策略的性能高度依赖高层决策的准确性——一旦子任务选择错误,低层执行再精确也无法挽回。9 项厨房任务平均成功率 20.4%,说明当前分层方法在长程记忆和状态追踪上仍有明显瓶颈,与端到端模型(16.2%)的差距也表明两类方法都远未成熟。

仿真与数据:Cosmos 与触觉手套补上两环

英伟达的 Cosmos 新模型可以根据机械臂动作预测下一段画面,另一种模型把仿真深度和轮廓转换成彩色视频。在单张 GB300 上回放双臂动作,四步去噪生成 640×352 画面,用 Tate Super 解码器每八帧的中位耗时为 166 毫秒。三种模型的权重和推理代码均可在 Hugging Face 下载。

数据采集侧,图鉴科技的触觉手套能同步记录手掌接触、指尖姿态和第一人称视频。团队公开了五类任务的 369 段人手操作记录,其中 150 段是插拔任务,原始信号和暗视频对应的数据均可下载,供非商业使用。

原始信号和暗视频针对其的数据

此外,Hugging Face 发布 LeRobot 0.7:机器人运行时可以切换子任务、保持连接并沿用内存中的状态,新版还支持从云端流式读取示范数据,训练前无需下载完整数据集。仿真侧降低成本、采集侧增加触觉维度、运行时侧简化数据流,这三件事共同指向同一个目标——让数据获取不再是最贵的一环。

**世界模型(World Model)**是指能够根据当前状态和动作预测未来观测的生成式模型。英伟达 Cosmos 根据机械臂动作预测下一段画面,本质上是在学习环境的动态演化规律。这类模型的价值在于:一方面可以作为仿真器替代品,低成本生成训练数据;另一方面可以用于策略评估——在真实执行前预判动作后果。将仿真深度和轮廓转换为彩色视频,则降低了仿真数据与真实视频之间的视觉差距,有助于策略迁移。单张 GB300 上 166 毫秒的中位生成耗时,说明世界模型推理已接近可用,但距离实时闭环控制仍有差距。

落地现场:进博会与仓储

上海进博会开幕,新闻中心里大猎鼓的机器人拿起拍立得按下快门,再把薄薄的相纸递给记者。据新民晚报现场报道,从举起相机到递交照片一次大约 40 秒。休息区还有志愿机器人现场给来宾冲泡功夫茶。

菜鸟在香港宣布向巨生智能合作伙伴开放仓网,在实际工位做研发、真机训练和业务验证。菜鸟称此前的试点已涉及包裹贴标、小件分解和拆码,多家公司已与首批企业签署合作协议。机器人进仓的价值不在演示,而在真实工位的连续运行数据,这恰好是仿真难以完全替代的部分。

美国人形机器人公司 Agility Robotics 已在纳斯达克挂牌普通股和认股权证,11 月 5 日开始交易,普通股代码为 AGLT。公司称合并与相关融资合计筹得约 4.65 亿美元,金额为扣除交易费用前的总额。

11月5日开始交易

谷歌与 OpenAI:视频与网络安全两条线

谷歌 DeepMind 推出 Gemini Omni 1.2 Flash,可连续修改同一段视频,原生生成时长最长 15 秒,生成 720p 视频每秒 0.07 美元,较上一版本降价 30%。连续修改同一段视频,意味着视频生成开始向「可编辑工作流」靠拢,而不是一次性抽卡。

OpenAI 推出面向网络安全研究的 GPT-6 Cyber,先向部分通过审核的 Daybreak Red 客户开放。在要求利用指定远端漏洞的测试中,模型得分为 48.5%,上一代为 32.1%。提升幅度不小,但距离可靠仍远——接近一半的成功率在安全场景里意味着另一半失败,这类模型短期内更适合做辅助研究而非自动攻击。

这一轮进展的共性

把 14 条资讯放在一起,能看到三条主线:一是数据生产正在工业化,虚拟合成、触觉采集、流式加载各自解决一段;二是底层算力持续下沉到控制环节,规划、渲染、仿真都在被 GPU 加速;三是评估越来越依赖真机重复实验,91%、60%、20.4% 这些数字比任何演示视频都更能说明能力边界。机器人行业的热闹之处在于演示,真正的进度则藏在成功率里。

#苹果机器人#英伟达机械臂规划#具身智能#人形机器人#Gemini Omni#GPT-6 Cyber#机器人训练数据#进博会机器人
分享:

相关推荐