基准
Natural Plan
谷歌提出的语言模型规划能力评测基准,包含行程安排、会议调度、日历规划等真实场景任务,要求模型生成满足多约束条件的多步计划并通过程序化方式验证
时间轴 (近 90 天)
10月9日
在Natural Plan基准上无需任务训练时,扩散模型计划修复成功率为53.7%,自回归模型为27.0%
待验证50%
10月9日
Natural Plan 是谷歌提出的用于评估语言模型规划能力的基准数据集,包含行程安排、会议调度、日历规划等任务
待验证50%
谷歌提出的语言模型规划能力评测基准,包含行程安排、会议调度、日历规划等真实场景任务,要求模型生成满足多约束条件的多步计划并通过程序化方式验证
在Natural Plan基准上无需任务训练时,扩散模型计划修复成功率为53.7%,自回归模型为27.0%
Natural Plan 是谷歌提出的用于评估语言模型规划能力的基准数据集,包含行程安排、会议调度、日历规划等任务