Auto-Research Arena
面向自动研究系统的多目标基准，分离可采纳性与改进性，支持在共享实验环境中评估多样化的研究目标
时间轴 (近 90 天)
Auto-Research Arena 是一个多目标基准，用于评估自动研究系统并在语言建模中发现新想法。
Auto-Research Arena 的核心设计是将可采纳性（admissibility）与改进性（improvement）分离，可采纳性由模型质量和资源约束决定，改进性由选定目标衡量。
研究者在语言模型预训练中实例化了 Auto-Research Arena，定义了九个目标，涵盖模型、数据、训练和推理效率。
Auto-Research Arena 的评估使用了七个研究框架（research harnesses）和两个基础模型。
评估结果显示，几个复杂方法被简单的顺序搜索基线超越。
在新质量驱动的搜索中重用 Arena 揭示的发现，在匹配数据和 FLOPs 下实现了更低的训练损失，在相同模型大小下实现了更低的 held-out BPB。
Auto-Research Arena 的代码已在 GitHub 上开源，地址为 https://github.com/Auto-Research-Arena/auto-research-arena。
全部知识事实 (7)
Auto-Research Arena 是一个多目标基准，用于评估自动研究系统并在语言建模中发现新想法。
50%待验证Auto-Research Arena 的核心设计是将可采纳性（admissibility）与改进性（improvement）分离，可采纳性由模型质量和资源约束决定，改进性由选定目标衡量。
50%待验证研究者在语言模型预训练中实例化了 Auto-Research Arena，定义了九个目标，涵盖模型、数据、训练和推理效率。
50%待验证Auto-Research Arena 的评估使用了七个研究框架（research harnesses）和两个基础模型。
50%待验证评估结果显示，几个复杂方法被简单的顺序搜索基线超越。
50%待验证在新质量驱动的搜索中重用 Arena 揭示的发现，在匹配数据和 FLOPs 下实现了更低的训练损失，在相同模型大小下实现了更低的 held-out BPB。
50%待验证Auto-Research Arena 的代码已在 GitHub 上开源，地址为 https://github.com/Auto-Research-Arena/auto-research-arena。
50%