概念Calibrated Accuracy
校准准确率
衡量模型在不确定性下决策质量的指标,同时考察答案正确性与置信度校准程度,用于区分盲目猜测与基于证据的可靠推断。
时间轴 (近 90 天)
10月20日
校准准确率是评估智能体在不确定性下决策质量的关键指标,它不仅考察最终答案是否正确,还衡量置信度是否与真实正确概率相匹配。
待验证50%
10月20日
GPT-6 Sol 在 AdaExploreBench 上仅达到 61.9% 的校准准确率。
待验证50%
衡量模型在不确定性下决策质量的指标,同时考察答案正确性与置信度校准程度,用于区分盲目猜测与基于证据的可靠推断。
校准准确率是评估智能体在不确定性下决策质量的关键指标,它不仅考察最终答案是否正确,还衡量置信度是否与真实正确概率相匹配。
GPT-6 Sol 在 AdaExploreBench 上仅达到 61.9% 的校准准确率。