基准
LiveBench
一个面向大型语言模型的实时更新评测基准,通过持续更新题目避免数据污染,用于公平比较不同模型的综合能力
时间轴 (近 90 天)
9月30日
学术界正在探索动态基准(如HELM、LiveBench)和对抗性评测(Adversarial NLI)作为替代方案
待验证50%
9月25日
参考LiveBench基准,Claude Fable 5.1与GPT-6 Astra能力接近
已过期60%
9月23日
LiveBench 等新型评测框架会定期替换题目以对抗数据污染
待验证50%
9月9日
LiveBench是每月更新测试题目的动态基准
待验证50%
9月3日
许多经典基准已趋于饱和(如HellaSwag上多个模型得分超过95%),业界正在开发更具区分度的新基准如GPQA、SWE-bench、LiveBench
待验证50%