OptionWorld
用于诊断LLM作为长期个人助手失败模式的基准测试，通过模拟跨天日常生活任务，追踪信息获取、判断、行动和结果的全链条，精确定位模型任务状态维护的失败环节
时间轴 (近 90 天)
论文《OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants》提出了一个诊断框架，用于评估LLM作为长期个人助手的能力。
OptionWorld通过模拟日常生活任务，追踪信息获取、判断、行动和结果的全链条，以精确定位模型失败的位置。
在35.5%的失败案例中，完成任务所需的关键事实已经出现在模型截止时间前的最后一次输入中。
补充缺失事实的实验表明，直接提供模型缺失的关键事实可以恢复部分任务成功，说明信息缺口是部分失败的直接原因。
行动提醒实验表明，给模型发送行动提醒可以重启工作，但后续步骤仍然可能错过截止时间，仅有提醒不足以解决时间管理问题。
纠正错误限制的实验表明，当模型收到一个错误禁止联系的便条时，纠正该便条可以恢复允许的询问行为，证实模型会盲目接受外部假设的限制。
全部知识事实 (6)
论文《OptionWorld: A Benchmark for Diagnosing Failures of LLMs as Long-Term Personal Assistants》提出了一个诊断框架，用于评估LLM作为长期个人助手的能力。
50%待验证OptionWorld通过模拟日常生活任务，追踪信息获取、判断、行动和结果的全链条，以精确定位模型失败的位置。
50%待验证在35.5%的失败案例中，完成任务所需的关键事实已经出现在模型截止时间前的最后一次输入中。
50%待验证补充缺失事实的实验表明，直接提供模型缺失的关键事实可以恢复部分任务成功，说明信息缺口是部分失败的直接原因。
50%待验证行动提醒实验表明，给模型发送行动提醒可以重启工作，但后续步骤仍然可能错过截止时间，仅有提醒不足以解决时间管理问题。
50%待验证纠正错误限制的实验表明，当模型收到一个错误禁止联系的便条时，纠正该便条可以恢复允许的询问行为，证实模型会盲目接受外部假设的限制。
50%