基准
Trek-Base
基于 HomeBench 扩展的智能家居指令评测数据集,通过同义改写与口语化表达测试自然语言表达的多样性
时间轴 (近 90 天)
11月3日
Trail团队在HomeBench基础上扩展出三个数据集:Trek-Base(测试语言多样性)、Trek-Robust(评估环境变化鲁棒性)、Trek-Memory(评估多轮对话记忆能力)。
待验证50%
11月3日
在Trek-Base数据集上,Trail保持竞争力,说明结构化决策未牺牲基础理解能力。
待验证50%
基于 HomeBench 扩展的智能家居指令评测数据集,通过同义改写与口语化表达测试自然语言表达的多样性
Trail团队在HomeBench基础上扩展出三个数据集:Trek-Base(测试语言多样性)、Trek-Robust(评估环境变化鲁棒性)、Trek-Memory(评估多轮对话记忆能力)。
在Trek-Base数据集上,Trail保持竞争力,说明结构化决策未牺牲基础理解能力。