TASC
评估LLM在对话中应用时间相关约束能力的基准,包含3418条输入和33个对比场景,用于解耦时间推理与时间应用。
时间轴 (近 90 天)
研究团队提出了TASC(Temporal Action Safety in Conversation)基准,专门评估LLM在对话中应用时间相关约束的能力。
TASC基准包含3,418条输入,由128个模板派生而来。
在模型给出的行动建议实际违反时间规则的情况下,助手只有30.5%的场合主动考虑了时间约束。
研究测试了13个模型,发现即使模型正确计算出了经过的时间,仍有62.1%的情况未能将这一约束应用到对话建议中。
在提示中显式提供时间信息只能解决大约一半的失败案例。
模型在很少的情况下会无缘无故地发出时间相关警告,表明30.5%的低合规率主要源于漏报而非误报。
TASC的评估框架明确将时间推理与时间应用解耦,分别测量。
研究单独设计了一组33个场景,用于对比模型计算经过时间的能力与将计算结果应用到建议中的能力。
TASC目前覆盖的是模板化生成的对话场景,真实用户对话的复杂度和时间表达方式更加多样。
62.1%的应用失败率是在特定模板体系下测得的,不同任务领域的表现可能存在差异。
全部知识事实 (10)
研究团队提出了TASC(Temporal Action Safety in Conversation)基准,专门评估LLM在对话中应用时间相关约束的能力。
50%待验证TASC基准包含3,418条输入,由128个模板派生而来。
50%待验证在模型给出的行动建议实际违反时间规则的情况下,助手只有30.5%的场合主动考虑了时间约束。
50%待验证研究测试了13个模型,发现即使模型正确计算出了经过的时间,仍有62.1%的情况未能将这一约束应用到对话建议中。
50%待验证在提示中显式提供时间信息只能解决大约一半的失败案例。
50%待验证模型在很少的情况下会无缘无故地发出时间相关警告,表明30.5%的低合规率主要源于漏报而非误报。
50%待验证TASC的评估框架明确将时间推理与时间应用解耦,分别测量。
50%待验证研究单独设计了一组33个场景,用于对比模型计算经过时间的能力与将计算结果应用到建议中的能力。
50%待验证TASC目前覆盖的是模板化生成的对话场景,真实用户对话的复杂度和时间表达方式更加多样。
50%待验证62.1%的应用失败率是在特定模板体系下测得的,不同任务领域的表现可能存在差异。
50%