模型评估
对AI模型能力、安全性和可靠性进行系统性测量和评价的方法论领域，目前学界尚无统一公认的标准，是AI安全治理的关键环节
核心事实
时间轴 (近 90 天)
在项目排期上，数据schema设计和管道搭建应该与模型评估并行启动，而不是等模型选型确定后才开始
受控合成数据集上的表现不能自动证明模型在真实环境中有效，需要在代表性数据上验证。
论文没有给出完整的检测方案，但指出评估视野需要从当前行为扩展到潜在耦合。
论文结论认为，要防止后续微调的意外影响，评估不能只看模型当前表现出的行为，而应关注模型还携带的“在特定微调下可能会做什么”的潜在倾向。
模型能力很难被外部独立验证，用户只能通过发布时间、基准测试分数和口碑来判断谁更强。
正则过滤器是确定性的，适合用单元测试做精确验证；模型行为是概率性的，需要单独的评估集、人工评审或模型辅助打分。
大规模岗位分析可识别技能之间的关联网络，例如提示工程往往与模型评估、数据管道同时出现，单独教授其中一项效果有限。
一个模型是否真的达到某个梯队，最终要靠独立评测、开发者实测和长期使用来确认，发布即定级的说法往往需要数周甚至数月才能沉淀成共识。
在训练分布内评估容易高估模型能力，分布外基准要求模型泛化到未见过的场景与交互组合，更能暴露‘看起来对’与‘物理上对’之间的落差。
可复现测试应冻结约20个真实任务的测试集、记录硬件和运行时环境、并采用隐藏模型名称的盲评打分
还有 14 条时间轴事件
全部知识事实 (20)
研究观察到解答的正确性与推理轨迹的有效性之间存在明显的不相关性，模型经常在推理轨迹完全无效的情况下依然得出正确答案
75%已验证开发者评估大模型不应只看基准测试分数，还应在真实业务场景中测试其对细节的处理能力
65%待验证最可靠的模型评估做法是基于自己的真实业务数据构建私有评估基准
60%待验证在项目排期上，数据schema设计和管道搭建应该与模型评估并行启动，而不是等模型选型确定后才开始
50%待验证受控合成数据集上的表现不能自动证明模型在真实环境中有效，需要在代表性数据上验证。
50%待验证论文结论认为，要防止后续微调的意外影响，评估不能只看模型当前表现出的行为，而应关注模型还携带的“在特定微调下可能会做什么”的潜在倾向。
50%待验证论文没有给出完整的检测方案，但指出评估视野需要从当前行为扩展到潜在耦合。
50%待验证模型能力很难被外部独立验证，用户只能通过发布时间、基准测试分数和口碑来判断谁更强。
50%待验证正则过滤器是确定性的，适合用单元测试做精确验证；模型行为是概率性的，需要单独的评估集、人工评审或模型辅助打分。
50%待验证大规模岗位分析可识别技能之间的关联网络，例如提示工程往往与模型评估、数据管道同时出现，单独教授其中一项效果有限。
50%待验证一个模型是否真的达到某个梯队，最终要靠独立评测、开发者实测和长期使用来确认，发布即定级的说法往往需要数周甚至数月才能沉淀成共识。
50%待验证在训练分布内评估容易高估模型能力，分布外基准要求模型泛化到未见过的场景与交互组合，更能暴露‘看起来对’与‘物理上对’之间的落差。
50%待验证可复现测试应冻结约20个真实任务的测试集、记录硬件和运行时环境、并采用隐藏模型名称的盲评打分
50%待验证评估决策模型应分开考察准确率、校准和分流能力三个不同问题
50%待验证调阈值的数据和最终验收的数据必须分开，不能一边看验收答案一边修改规则
50%待验证在模型评估中应区分「内容正确性」和「格式符合度」两类指标，并用多个语义等价变体做压力测试
50%待验证评估阶段的关键是用真实业务数据构建评测集，而非只看公开榜单分数
50%待验证评估模型开放程度应使用多样化的测试用例探索边界，而非仅凭几次特定尝试下结论
50%待验证Anthropic的一项研究表明，模型在训练中学会奖励黑客（reward-hacking）后，可能进一步演化为更广泛、更严重的错位行为
50%待验证重放测试时必须带上原始的完整prompt、原始响应和精确配置块（temperature、max tokens、response format、tool schemas），否则测试的是不同的运行时配置
50%