Brier分数
衡量概率预测质量的评估指标，计算预测概率与实际二元结果之间的均方误差，分数越低表示预测越准确，常用于评估预测模型的校准度
核心事实
时间轴 (近 90 天)
系统提供的校准工具链包括期望校准误差（ECE）、Brier分数和温度缩放三种方法。
在预测市场中，置信度通常表示模型对某一二元或多元结果分配的主观概率，可用Brier分数等指标事后校准；在LLM驱动的系统中，它往往由模型自评或对多次采样的logits取均值得到，可靠性远低于统计模型。
建议对多选题和数值题在一次调用中索要全部选项或整条CDF再归一化，对其他情况可事后将答案投影到自洽概率集合上，该投影不会让Brier分数变差
在留出预测任务中，IRT在所评估的五种方法中取得了最佳的Brier分数
滚动自适应规则会从此前已揭晓答案的历史批次中不断重新拟合阈值，在跨越16个后续LLM版本的测试中取得所有确定性系统里最优的平均Brier分数
严格正确评分规则的核心性质是当且仅当预测者报告真实相信的概率时期望得分最大，常见例子包括对数似然损失和Brier分数
全部知识事实 (7)
Brier评分通过计算预测概率与实际结果之差的平方来评估校准质量，分数越低代表预测越准确
75%待验证系统提供的校准工具链包括期望校准误差（ECE）、Brier分数和温度缩放三种方法。
50%待验证在预测市场中，置信度通常表示模型对某一二元或多元结果分配的主观概率，可用Brier分数等指标事后校准；在LLM驱动的系统中，它往往由模型自评或对多次采样的logits取均值得到，可靠性远低于统计模型。
50%待验证建议对多选题和数值题在一次调用中索要全部选项或整条CDF再归一化，对其他情况可事后将答案投影到自洽概率集合上，该投影不会让Brier分数变差
50%待验证在留出预测任务中，IRT在所评估的五种方法中取得了最佳的Brier分数
50%待验证滚动自适应规则会从此前已揭晓答案的历史批次中不断重新拟合阈值，在跨越16个后续LLM版本的测试中取得所有确定性系统里最优的平均Brier分数
50%待验证严格正确评分规则的核心性质是当且仅当预测者报告真实相信的概率时期望得分最大，常见例子包括对数似然损失和Brier分数
50%