策略模型

一个能在机器人本体上实时运行的小型策略模型，其实际价值可能超过一个需要云端往返推理的大模型，后者在动态环境中会因延迟而失效。

策略模型（Policy Model）在机器人学中通常指从感知输入直接映射到动作输出的模型，是强化学习或模仿学习的核心组件。

奖励模型的去噪效果会传导到最终策略模型的行为上，噪声更少的奖励信号使策略优化更符合真实人类偏好。