基准Write & Improve 2024
Write and Improve 2024
基于剑桥大学Write & Improve在线写作平台的学习者英语作文数据集,用于评估NLI方法的泛化性。
时间轴 (近 90 天)
10月19日
该研究使用Llama 3.1 8B和70B模型在TOEFL9、Write and Improve 2024和BULATS-L1三个数据集上评估了token概率评分方法。
待验证50%
10月19日
70B模型在所有数据集上均达到了state-of-the-art(SOTA)性能,超越了此前基于提示的方法。
待验证50%
10月19日
Write and Improve 2024数据集来自剑桥大学Write & Improve在线写作平台,规模较大、L1背景多样。
待验证50%