基准Discrete Reasoning Over Paragraphs
DROP
一项阅读理解基准测试,要求模型阅读英文段落并回答涉及离散推理(如加减、排序、计数、比较)的问题,评测指标包括精确匹配(EM)和F1分数
时间轴 (近 90 天)
10月13日
在作者公布的25道题小样本评测中,ZY-S1相比基座模型在DROP上EM从4保持不变,F1从18.24提升到19.76。
待验证50%
一项阅读理解基准测试,要求模型阅读英文段落并回答涉及离散推理(如加减、排序、计数、比较)的问题,评测指标包括精确匹配(EM)和F1分数
在作者公布的25道题小样本评测中,ZY-S1相比基座模型在DROP上EM从4保持不变,F1从18.24提升到19.76。