TGIT
轨迹锚定指令翻译器,一种前置于导航模型的指令翻译层,通过轨迹级强化学习将用户简短意图式表达转换为导航器可理解的详细指令,无需修改底层导航模型
时间轴 (近 90 天)
TGIT(Trajectory-Grounded Instruction Translator,轨迹锚定指令翻译器)是一个翻译层,保持导航器完全冻结,将用户的简短意图式弱指令转换为导航器能理解执行的命令格式
TGIT采用轨迹级奖励,将翻译后的指令输入冻结的导航器执行,以飞行轨迹是否到达目标作为反馈信号来更新翻译器参数
论文用人工撰写的风格样例提示语言模型,将原始详尽命令转换为以意图为中心的弱指令,批量生成配对训练数据
仅用合成的弱指令直接输入导航器,成功率为15.27%,介于详尽命令31.03%和真实用户指令11.33%之间
经过TGIT训练后,弱指令输入的成功率从15.27%提升到37.93%,超过原始详尽命令的31.03%
TGIT零样本迁移到真实人类指令的成功率从11.33%跃升到32.51%
在未见过的OpenFly测试集上,TGIT使成功率从4.95%提升到20.79%
TGIT在CityNav和AirVLN两个独立基准上同样实现了性能恢复
TGIT提出解耦范式,将理解用户意图和执行导航两个任务分离,分别用最合适的方式优化
TGIT将适配完全外置到输入端,对底层模型零侵入,无论导航器是开源权重还是商业API均可接入
还有 3 条时间轴事件
全部知识事实 (13)
TGIT(Trajectory-Grounded Instruction Translator,轨迹锚定指令翻译器)是一个翻译层,保持导航器完全冻结,将用户的简短意图式弱指令转换为导航器能理解执行的命令格式
50%待验证TGIT采用轨迹级奖励,将翻译后的指令输入冻结的导航器执行,以飞行轨迹是否到达目标作为反馈信号来更新翻译器参数
50%待验证论文用人工撰写的风格样例提示语言模型,将原始详尽命令转换为以意图为中心的弱指令,批量生成配对训练数据
50%待验证仅用合成的弱指令直接输入导航器,成功率为15.27%,介于详尽命令31.03%和真实用户指令11.33%之间
50%待验证经过TGIT训练后,弱指令输入的成功率从15.27%提升到37.93%,超过原始详尽命令的31.03%
50%待验证TGIT零样本迁移到真实人类指令的成功率从11.33%跃升到32.51%
50%待验证在未见过的OpenFly测试集上,TGIT使成功率从4.95%提升到20.79%
50%待验证TGIT在CityNav和AirVLN两个独立基准上同样实现了性能恢复
50%待验证TGIT提出解耦范式,将理解用户意图和执行导航两个任务分离,分别用最合适的方式优化
50%待验证TGIT将适配完全外置到输入端,对底层模型零侵入,无论导航器是开源权重还是商业API均可接入
50%待验证TGIT无法纠正导航器本身的能力边界,若某类场景导航器本就不擅长,翻译也无济于事
50%待验证TGIT的轨迹反馈训练依赖仿真环境的可用性,在纯真实物理部署场景下获取训练信号的成本会显著上升
50%待验证TGIT相关工作作为新发布的arXiv预印本发表
50%