RoboArchitect
一种自动化设计机器人智能体框架(harness)的方法,通过编码模型迭代修订包裹冻结策略的控制代码,并演化持久记忆,不更新模型权重。
时间轴 (近 90 天)
RoboArchitect 提出不更新任何模型权重,让编码模型自动设计包裹在冻结策略外的智能体框架(harness),并为其注入持久记忆。
在多个基准和策略上的评估显示,RoboArchitect 将未见场景的平均成功率从 9.7% 提升至 43.3%(4.5 倍)。
RoboArchitect 的工作流程是编码模型观察机器人的 rollout,诊断失败原因,然后迭代修订包裹冻结策略的框架,整个过程不更新任何模型权重。
框架在一组 episode 上进化优化,并在留出的场景和任务上评估,以避免过拟合。
RoboArchitect 中,记忆不是简单的对话历史,而是框架代码可读写的经验库,例如“在某个抓取位姿下夹爪深度为 2cm 时成功率更高”。
演化出的控制策略往往具有直观的物理含义,例如把卡住的机械臂抬起使其脱离障碍,或者在顶部受阻时改为水平方向伸入。
收益最大的地方是基准远离策略训练数据的时候,用通用策略做包裹,演化出的框架能产生一个“专家”,甚至经常超过微调版本。
全部知识事实 (7)
RoboArchitect 提出不更新任何模型权重,让编码模型自动设计包裹在冻结策略外的智能体框架(harness),并为其注入持久记忆。
50%待验证在多个基准和策略上的评估显示,RoboArchitect 将未见场景的平均成功率从 9.7% 提升至 43.3%(4.5 倍)。
50%待验证RoboArchitect 的工作流程是编码模型观察机器人的 rollout,诊断失败原因,然后迭代修订包裹冻结策略的框架,整个过程不更新任何模型权重。
50%待验证框架在一组 episode 上进化优化,并在留出的场景和任务上评估,以避免过拟合。
50%待验证RoboArchitect 中,记忆不是简单的对话历史,而是框架代码可读写的经验库,例如“在某个抓取位姿下夹爪深度为 2cm 时成功率更高”。
50%待验证演化出的控制策略往往具有直观的物理含义,例如把卡住的机械臂抬起使其脱离障碍,或者在顶部受阻时改为水平方向伸入。
50%待验证收益最大的地方是基准远离策略训练数据的时候,用通用策略做包裹,演化出的框架能产生一个“专家”,甚至经常超过微调版本。
50%