基准
TDM-Gauntlet
一个包含46个英文测试集的基准,用于评估零样本决策模型在真实学术评估框架中的表现。
时间轴 (近 90 天)
11月17日
研究者将TypeSafe的Jev(也称System One或System 1模型)替换进24篇ACL会议论文的预测器,保持每篇论文的数据划分、标签定义和评估指标不变,构建了包含46个英文测试集的TDM-Gauntlet基准。
待验证50%
11月17日
在零样本提示下,Jev在46个测试集中的12个上直接达到了原论文预测器的水平。
待验证50%