Sim2Real实战：双轮平衡机器人的强化学习训练与部署全解析

从仿真到现实：一个DIY机器人项目的技术突破

近年来，Sim2Real（仿真到现实迁移）技术在机器人领域持续升温。Sim2Real是机器人学和强化学习领域的核心研究方向之一，其基本思路是在虚拟仿真环境中训练智能体的控制策略，然后将训练好的策略直接部署到真实物理机器人上。这一方法的核心优势在于规避了真实世界数据采集的高成本和安全风险——在仿真中，机器人可以摔倒数百万次而不会损坏任何硬件。然而，Sim2Real面临的最大挑战是"现实差距"（Reality Gap）：仿真器无法完美复现真实世界的物理特性，包括摩擦力、接触动力学、传感器噪声等。为缩小这一差距，研究者通常采用域随机化（Domain Randomization）、系统辨识（System Identification）等技术，在训练阶段人为引入参数扰动，迫使策略学会对不确定性的鲁棒应对。

一位来自Reddit社区的开发者最近分享了一个令人印象深刻的项目——一款具备高度调节能力的双轮平衡机器人，全程使用100%合成数据训练，并成功实现了从仿真环境到真实物理世界的策略迁移。

这个项目在技术深度和工程实现上都颇具参考价值，尤其对于关注具身智能、强化学习落地的研究者和工程师而言，其中的细节值得深入剖析。

可变高度双轮平衡机器人实物展示

硬件架构：紧凑而不妥协的设计

关节设计与执行器选型

与传统双轮平衡机器人仅依赖两个驱动轮不同，该机器人在每条腿上配置了3个关节，形成完整的髋-膝-轮结构。这一设计赋予了机器人三项关键能力：在不同高度下保持平衡、左右腿独立倾斜、以及在加速时保持底盘水平。

执行器方面，项目选用了6个小米Cybergear QDD（准直驱）电机。QDD准直驱电机是近年来在腿足机器人领域兴起的一类关键执行器方案。与传统高减速比伺服电机不同，QDD电机通常采用较低的减速比（一般在6:1到9:1之间），这使得电机具备优异的反向驱动性（Backdrivability）——即外力可以较轻松地推动电机转动。这一特性对于腿足机器人至关重要：当机器人脚部与地面发生碰撞时，低阻抗的关节可以像弹簧一样吸收冲击，而非像刚性结构一样硬碰硬。小米Cybergear系列电机集成了无刷直流电机、行星减速器、编码器和FOC驱动器于一体，支持位置、速度和扭矩三种控制模式，因其高性价比而在开源机器人社区被大量采用。6s LiPo电池提供动力，整体功率密度与重量比控制得较为合理。

通信架构与感知方案

控制器选用ESP32，这是一个在DIY机器人圈颇为流行的低成本嵌入式平台。值得关注的是，项目同时使用了两条CAN总线：一条通过ESP32原生TWAI接口实现，另一条借助SPI扩展。

CAN（Controller Area Network）总线最初由博世公司为汽车电子系统开发，因其高可靠性、多节点支持和差分信号抗干扰能力，已成为机器人多关节通信的主流方案之一。在CAN总线上，所有节点共享同一条总线，通过基于优先级的仲裁机制解决冲突。然而，单条CAN总线的带宽有限（经典CAN为1Mbps），当总线上挂载多个高频通信节点时，容易出现总线负载过高导致的消息延迟或丢失。该项目中6个电机均需要在控制周期内（通常为1-5ms）完成位置/扭矩指令的下发和状态反馈的读取，单条总线的通信压力显而易见。采用双CAN总线、每条总线分担3个电机的方案，有效缓解了6个电机并发通信时的带宽瓶颈，保证了控制回路的实时性。ESP32的TWAI接口是其内置的CAN控制器，而通过SPI连接外部CAN控制器芯片（如MCP2515）可实现第二条CAN总线。

IMU当前使用MPU6050，作者计划升级为BNO086。IMU（Inertial Measurement Unit，惯性测量单元）是平衡机器人的核心传感器，负责实时测量机器人的角速度和加速度，进而推算姿态角。MPU6050是一款经典的6轴MEMS IMU芯片，集成3轴加速度计和3轴陀螺仪，以极低的价格在创客社区广泛使用。然而，MPU6050的原始数据需要主控端进行姿态融合计算（如卡尔曼滤波或互补滤波），且其噪声特性和零偏漂移在高动态场景下表现欠佳。相比之下，BNO086内置了博世的智能传感器融合算法（运行在片上协处理器中），可直接输出经过融合的四元数姿态数据，且具备运动分类、振动补偿等高级功能。对于依赖毫秒级精确姿态反馈的动态平衡控制而言，IMU的升级往往能带来质的飞跃。

强化学习训练策略：纯合成数据驱动的Sim2Real迁移

混合关节与任务空间训练方法

该项目最核心的技术亮点在于其训练方法论：100%合成数据，零真实世界样本。策略使用mjlab（MuJoCo的封装工具）从零开始训练，在单张RTX 3080上约4小时即可完成收敛。

MuJoCo（Multi-Joint dynamics with Contact）是由Emo Todorov开发的物理仿真引擎，以其高效精确的接触动力学模拟能力闻名于机器人学和强化学习社区。2022年DeepMind将MuJoCo开源后，其生态迅速扩展，成为与Isaac Gym并列的主流机器人强化学习仿真平台。MuJoCo采用广义坐标（Generalized Coordinates）表示和半隐式欧拉积分方案，在保证数值稳定性的同时，单步仿真速度极快。mjlab作为MuJoCo的封装工具，提供了更友好的Python API、环境管理和训练管线集成，降低了从零搭建训练流程的工程门槛。在单张RTX 3080上4小时即可完成策略训练，很大程度上得益于MuJoCo的计算效率以及并行环境采样的工程优化。

训练采用了混合关节空间与任务空间的方案（Hybrid Joint and Task Space Training）。在机器人控制理论中，关节空间（Joint Space）和任务空间（Task Space，也称笛卡尔空间或操作空间）是两种基本的控制框架。关节空间控制直接操控每个关节的角度、角速度或力矩，其优势在于天然尊重关节限位、奇异位型等物理约束，但在描述末端执行器（如脚尖或轮子）的目标行为时不够直观。任务空间控制则直接在末端执行器的位置、速度或力的层面制定控制目标，更符合任务的高层语义（例如"保持轮子的接地力恒定"），但需要通过逆运动学/逆动力学映射回关节层面，在关节限位附近容易出现问题。混合方案通常对不同自由度或不同子任务分别采用两种空间的控制方式：例如，腿部的摆动轨迹在任务空间规划，而关节力矩限制在关节空间实施。这种分层混合策略在复杂腿足系统中尤为有效，在保留各自优势的同时，有助于策略更好地泛化到真实硬件的动力学差异上。

模型压缩：99.87%的体积削减实现嵌入式部署

针对ESP32这类资源受限的嵌入式平台（主频240MHz、RAM约520KB），作者通过几何基元优化（Primitives Optimization）对碰撞模型进行了极致压缩，实现了99.87%的模型体积缩减。

在物理仿真中，碰撞检测是计算量最大的环节之一。精确的三维网格（Mesh）碰撞模型虽然能准确表示机器人的外形，但其碰撞检测算法（如GJK、SAT等）的计算复杂度随顶点和面片数量急剧上升。几何基元（Geometric Primitives）——球体、胶囊体、圆柱体、长方体等——具有解析形式的碰撞检测方程，计算效率比网格碰撞高出数个数量级。例如，两个球体的碰撞检测仅需计算一次距离并与半径之和比较。99.87%的体积削减意味着原始模型可能包含数万个三角面片，而压缩后仅需几十个基元参数即可近似表示，这对仿真加速和策略推理速度都有本质性的提升。在嵌入式部署场景中，使用基元替代网格不仅是性能优化，更是部署可行性的先决条件——在大幅降低计算开销的同时，仿真的物理准确性损失被控制在可接受范围内，这也是该策略能够成功迁移到真实机器人的重要前提。

当前进展与技术挑战

首批Sim2Real测试结果

在本次展示的测试中，髋关节和膝关节在启动时被锁定（关节角度可变，但运行期间不做主动控制），机器人仅依靠车轮电机维持平衡。作者坦言平衡效果"开始起效，但还不完美"——这是一个诚实且符合预期的评估。Sim2Real迁移本身就面临仿真器参数误差（质量、惯量、摩擦系数等）带来的动力学偏差，首批测试能够跑通已属积极信号。

值得注意的是，域随机化（Domain Randomization）技术在缩小现实差距中扮演着关键角色。该技术在训练阶段对仿真环境的物理参数（如质量、摩擦系数、电机延迟等）施加随机扰动，使策略在面对真实世界不可避免的参数偏差时仍能保持一定的鲁棒性。首批测试中观察到的不完美平衡效果，很可能与仿真中未充分覆盖的参数空间有关，后续通过更精细的域随机化调参有望进一步改善。

下一步：全关节动态控制

项目的下一阶段目标是放开髋膝关节的运行时控制，实现真正意义上的动态高度调节和身体倾斜。这将使控制问题的维度显著提升——从当前的2自由度（两个车轮）跃升至6自由度（髋、膝、轮各两个），策略的状态空间和动作空间都将大幅扩展。维度的增加不仅对策略网络的容量和训练样本效率提出更高要求，还意味着仿真器需要更精确地建模关节间的耦合动力学、接触状态转换等复杂物理现象。IMU升级至BNO086也是这一阶段的关键准备工作，更精确的姿态反馈将为全关节控制提供更可靠的状态估计基础。

技术意义与开发者启示

这个项目的价值不仅仅在于"又一个平衡机器人"，而在于它展示了一条可复现的低成本Sim2Real路径：消费级GPU、开源仿真框架、商业化QDD电机、加上DIY控制器，就能搭建出具备研究级特性的平衡机器人平台。这一路径的出现标志着Sim2Real技术正在从顶级实验室的专属工具走向更广泛的开发者社区——过去需要数十万元设备和专业团队才能开展的研究，如今一位有经验的个人开发者也有能力复现。

对于正在探索具身智能落地的开发者，这个案例提供了几点实践参考：

模型压缩是嵌入式部署的必答题：99.87%的压缩率证明了几何基元近似在运动控制场景中的可行性，这一方法也可推广到其他资源受限平台上的实时碰撞检测与物理推理任务
混合空间训练值得重点关注：在多关节腿足系统中，混合关节与任务空间的训练策略能有效平衡控制精度与泛化能力，避免了单一空间框架的固有局限
双CAN总线的冗余设计不容忽视：这是保障多电机实时控制的关键工程细节，对于任何超过4个CAN节点的机器人系统都应认真考虑总线拓扑规划

作者已开放策略在线体验入口（vertex.bot/robot），有兴趣的读者可以直接测试策略的实际表现，其中还包含另一款名为Pollens MicroDuck的机器人策略。