基准

UtilityBench

一个用于评估语言模型在考虑错误代价差异时决策质量的基准，包含带有效用标注的实例，支持选择性预测评估。

时间轴 (近 90 天)

10月20日

研究者构建了 UtilityBench 基准，包含 15,000 个带有可验证答案的实例。

待验证50%

10月20日

UtilityBench 使用最佳最差缩放法（Best-Worst Scaling）获取数据驱动的成本估计，为每个实例赋予效用值。

待验证50%

10月20日

在 UtilityBench 构建中，研究者利用 BWS 让标注者比较不同错误后果的严重程度，从而获得数据驱动的、可跨实例比较的成本估计。

待验证50%

UtilityBench 使用最佳最差缩放法（Best-Worst Scaling）获取数据驱动的成本估计，为每个实例赋予效用值。

在 UtilityBench 构建中，研究者利用 BWS 让标注者比较不同错误后果的严重程度，从而获得数据驱动的、可跨实例比较的成本估计。

研究者构建了 UtilityBench 基准，包含 15,000 个带有可验证答案的实例。