whatmodel.sh
由独立开发者 Jake Manger 构建的开源 AI 模型评测榜单,聚合大量基准测试结果并区分独立评估与实验室自报,数据集采用 CC BY-SA 4.0 许可,评分代码使用 MIT 许可,全部开源在 GitHub 上。
时间轴 (近 90 天)
开发者 Jake Manger 构建的 whatmodel.sh 榜单显示,中国开源权重模型的能力大约落后美国闭源模型 7 个月。
whatmodel.sh 榜单从 1,011 个来源收集了 22,113 个基准测试结果,覆盖 987 个基准测试。
whatmodel.sh 文本模型部分包含 1,211 个模型在 617 个基准上的 18,755 个结果。
whatmodel.sh 数据中 14,436 个结果来自独立评估(ACL Anthology、arXiv、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等),7,677 个来自实验室自报,独立评估占比约 77%。
whatmodel.sh 数据集采用 CC BY-SA 4.0 许可,评分代码使用 MIT 许可,全部开源在 GitHub 上。
全部知识事实 (5)
开发者 Jake Manger 构建的 whatmodel.sh 榜单显示,中国开源权重模型的能力大约落后美国闭源模型 7 个月。
50%待验证whatmodel.sh 榜单从 1,011 个来源收集了 22,113 个基准测试结果,覆盖 987 个基准测试。
50%待验证whatmodel.sh 文本模型部分包含 1,211 个模型在 617 个基准上的 18,755 个结果。
50%待验证whatmodel.sh 数据中 14,436 个结果来自独立评估(ACL Anthology、arXiv、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等),7,677 个来自实验室自报,独立评估占比约 77%。
50%待验证whatmodel.sh 数据集采用 CC BY-SA 4.0 许可,评分代码使用 MIT 许可,全部开源在 GitHub 上。
50%