DeepMind让Gemini 4操控人形机器人，连中7次沙包

一段来自B站的实验视频展示了令人瞩目的场景：DeepMind团队尝试让Gemini 4模型直接控制人形机器人完成投掷沙包游戏（Cornhole），结果连续7次精准命中。这不是简单的脚本执行，而是一个从视频学习、仿真训练到真机迭代的完整闭环。

从看视频到真机操作：Gemini 4的学习路径

实验的起点非常直观——给Gemini 4播放一段人类完成投掷任务的视频。模型需要理解视频中的动作逻辑，然后被提示运行Mojoku仿真器进行练习。据B站UP主分享的视频内容，Gemini 4在这个过程中展现出了“从经验中学习、迭代、犯错、回看失败视频”的能力。

每一次试错都成为下一次调整的依据。模型不是被动执行预设程序，而是主动分析每次投掷失败的视频记录，定位问题所在，再优化动作参数。这种基于视频理解的推理能力，让它可以逐步缩小误差范围。

Mojoku仿真器属于机器人学习领域中常见的物理仿真平台一类，其核心作用是在虚拟环境中复现重力、摩擦、碰撞等物理规律，让模型能够以远低于真机实验的成本进行大量试错。与真实机器人相比，仿真器可以并行运行成千上万次投掷，每次失败都能即时生成视频与状态数据供模型复盘。但仿真与真机之间通常存在"现实差距"（reality gap）——即虚拟环境难以完全复现真实世界的材质、延迟、传感器噪声等因素。因此，从仿真迁移到真机时往往需要额外微调，这也是本文实验中"调整释放时机几厘米"这一细节的技术背景。

迭代细节：从仿真到真机的迁移

在仿真阶段，Gemini 4进行了多轮投掷练习。据视频描述，第三轮练习时它调整了站位宽度，优化了摆臂轨迹，让手部干净地越过髋部，形成平滑的抛物线。这些微调并非人工编写，而是模型根据反馈自行完成的。

真正考验在于从仿真迁移到真实机器人。视频中提到，模型观察每个沙包的实际落点，将释放时机调整了几厘米，直到连续7次入洞。这个“几厘米”的精度调整，体现了模型对物理世界细微差别的适应能力。

模型推理能力：知道“错在哪里”

实验最值得关注的部分，是Gemini 4能够通过视频理解进行推理，判断出具体是哪一步出了问题。视频中明确提到：“Gemini 4能够通过其视频理解能力进行推理，缩小到到底哪里出了问题。”

这种能力意味着模型不仅知道动作失败了，还能定位失败原因——是释放时机不对，还是站位偏了，还是摆臂轨迹有偏差。然后基于这些判断，在后续尝试中做出针对性修正。

视频理解驱动的推理，指的是模型不仅能识别视频中"发生了什么"，还能推断"为什么失败"。在具身智能领域，这通常依赖视觉-语言模型（VLM）将视频帧序列编码为语义表示，再结合任务目标进行因果推断。例如，模型需要区分"释放过早导致沙包偏高"与"站位偏移导致方向偏差"这两类不同性质的错误。这种能力区别于传统的强化学习——后者通常只依赖标量奖励信号，难以解释失败的具体原因。Gemini 4所展示的，是将视频理解作为推理输入，把"看回放"变成一种主动的问题定位手段，从而让修正更具针对性而非盲目搜索。

从经验中学习的意义

视频结尾强调：“它从自己的经验中学习，这非常令人激动。”这句话点出了实验的核心价值。传统机器人控制往往依赖精确建模和人工调参，而Gemini 4展示了一条新路径：让模型通过视频理解世界，通过试错积累经验，通过推理定位问题。

连续7次命中或许只是一个开始。当模型能够观看视频、理解任务、在仿真中练习、在真机上调整，并且从每次失败中提取教训，这意味着通用机器人控制的门槛正在被重新定义。

这次实验也留下了一些未解的问题：模型的调整过程是否完全自主？仿真与真机之间的差距是如何具体弥合的？这些细节可能需要更多技术披露来验证。但无论如何，Gemini 4在物理任务中展现出的学习闭环，已经为具身智能提供了一个值得关注的样本。

具身智能（Embodied AI） 强调智能体通过与物理世界的交互来获取知识和技能，而非仅处理静态数据。传统工业机器人控制依赖精确的运动学建模与人工调参，每个任务都需要工程师反复调试；而具身智能的路径是让模型像人类一样"边做边学"。Gemini 4的实验之所以受到关注，正是因为它把大模型的语义理解能力与机器人执行闭环结合起来：观看视频建立任务表征，仿真中积累经验，真机上根据落点反馈迭代。这一范式若能泛化，意味着未来机器人可以通过观看教学视频快速掌握新技能，大幅降低部署门槛，这也是"通用机器人控制门槛正在被重新定义"这一判断的技术依据。