模型评估
对AI模型能力、安全性和可靠性进行系统性测量和评价的方法论领域，目前学界尚无统一公认的标准，是AI安全治理的关键环节
Timeline (last 90 days)
调阈值的数据和最终验收的数据必须分开，不能一边看验收答案一边修改规则
评估决策模型应分开考察准确率、校准和分流能力三个不同问题
在模型评估中应区分「内容正确性」和「格式符合度」两类指标，并用多个语义等价变体做压力测试
评估阶段的关键是用真实业务数据构建评测集，而非只看公开榜单分数
评估模型开放程度应使用多样化的测试用例探索边界，而非仅凭几次特定尝试下结论
最可靠的模型评估做法是基于自己的真实业务数据构建私有评估基准
重放测试时必须带上原始的完整prompt、原始响应和精确配置块（temperature、max tokens、response format、tool schemas），否则测试的是不同的运行时配置
一轮完整的模型评估往往需要2-4周的专职工程时间
在医疗诊断中假阴性代价极高因此召回率比精确率更重要，在垃圾邮件过滤中假阳性代价较高精确率更受关注
常见的模型评估维度包括任务完成率、迭代效率、改进稳定性以及边界情况处理能力
All Facts (10)
最可靠的模型评估做法是基于自己的真实业务数据构建私有评估基准
60%Unverified调阈值的数据和最终验收的数据必须分开，不能一边看验收答案一边修改规则
50%Unverified评估决策模型应分开考察准确率、校准和分流能力三个不同问题
50%Unverified在模型评估中应区分「内容正确性」和「格式符合度」两类指标，并用多个语义等价变体做压力测试
50%Unverified评估阶段的关键是用真实业务数据构建评测集，而非只看公开榜单分数
50%Unverified评估模型开放程度应使用多样化的测试用例探索边界，而非仅凭几次特定尝试下结论
50%Unverified重放测试时必须带上原始的完整prompt、原始响应和精确配置块（temperature、max tokens、response format、tool schemas），否则测试的是不同的运行时配置
50%Unverified一轮完整的模型评估往往需要2-4周的专职工程时间
50%Unverified在医疗诊断中假阴性代价极高因此召回率比精确率更重要，在垃圾邮件过滤中假阳性代价较高精确率更受关注
50%Unverified常见的模型评估维度包括任务完成率、迭代效率、改进稳定性以及边界情况处理能力
50%