AI评估
对AI模型或系统能力进行系统性测量的方法，通常在离线或准离线环境中通过预定义测试集和评分标准衡量输出质量，维度包括准确性、相关性、忠实度、有害内容检测等
核心事实
时间轴 (近 90 天)
AI测试不能简单判断对错，而应转向评估（打分），因为大模型输出具有概率性和多样性。
评估结果日益成为监管与采购决策的依据。
Patel在Meta期间主要负责AI评估和强化学习方向。
评估给出连续分数（0到1），可离散化为通过与否，AI产品上线需基于评估分数的阈值做出判定。
在AI评估中，强制二选一能暴露模型在自由生成时可能隐藏的倾向性；但该方法测量的是模型在特定提示下的输出行为，而非模型“内在信念”，且结果对提示词措辞、选项顺序和上下文高度敏感。
Hugging Face首席政策官Irene Solaiman指出，AI评估方法相当复杂且仍在成熟过程中，业界对“什么才算好的评估”仍缺乏共识。
Solaiman表示当前AI评估领域整体处于早期阶段，基准测试的设计、数据集的构建、评分标准的选择都存在大量主观判断空间。
评估者需要区分名义监督与有效监督：前者只需在流程图上画一个人工节点，后者需要验证人类在真实工作负荷、信息条件和组织激励下能否实质性地改变结果。
下一代AI评估需要超越模型层面，评估模型周围的整个系统，包括数据、设计、预测有效性、公平性、可解释性、权限、监督、可逆性和监控等方面。
在AI评估中，‘可审计’意味着每一次决策的输入、输出、中间状态和系统干预都被完整记录，且记录可被独立验证。
还有 18 条时间轴事件
全部知识事实 (20)
AI测试要求同时固定被测版本和评估版本，只有固定一个版本、变动另一个才具备横向对比价值
80%已验证AI评估对象分为大语言模型评估、知识库（RAG）评估、智能体（Agent）评估三层，且呈知识度和复杂度递增的递进关系
80%已验证AI领域常采用0到1的连续值打分，也可用0和1两个离散值表示传统的不通过与满分
70%已验证下一代AI评估需要超越模型层面，评估模型周围的整个系统，包括数据、设计、预测有效性、公平性、可解释性、权限、监督、可逆性和监控等方面。
65%已验证AI测试引入评估（Evaluation）概念，通常使用0到1的连续值打分，评估负责打分而测试负责划定及格线
65%已验证AI评估与性能测试有高度相似之处，都不特别关心单次的对错，而是通过一组数据和多轮对比发现问题得出结论
65%已验证AI评估不是判断对或错，而是通过打分机制表达质量好坏
65%已验证AI系统基于概率推理，同样的输入可能产生不同输出，且推理过程通常是黑箱的
65%待验证对于声称破解长期未解密码的成果，密码学界通常要求公开方法论和可验证的结果
60%待验证对AI进行测试的核心变革在于从「断言」（Test）走向「评估」（Evaluation），这是国际通行的做法
60%待验证AI测试不能简单判断对错，而应转向评估（打分），因为大模型输出具有概率性和多样性。
50%待验证评估结果日益成为监管与采购决策的依据。
50%待验证Patel在Meta期间主要负责AI评估和强化学习方向。
50%待验证评估给出连续分数（0到1），可离散化为通过与否，AI产品上线需基于评估分数的阈值做出判定。
50%待验证在AI评估中，强制二选一能暴露模型在自由生成时可能隐藏的倾向性；但该方法测量的是模型在特定提示下的输出行为，而非模型“内在信念”，且结果对提示词措辞、选项顺序和上下文高度敏感。
50%待验证Solaiman表示当前AI评估领域整体处于早期阶段，基准测试的设计、数据集的构建、评分标准的选择都存在大量主观判断空间。
50%待验证Hugging Face首席政策官Irene Solaiman指出，AI评估方法相当复杂且仍在成熟过程中，业界对“什么才算好的评估”仍缺乏共识。
50%待验证评估者需要区分名义监督与有效监督：前者只需在流程图上画一个人工节点，后者需要验证人类在真实工作负荷、信息条件和组织激励下能否实质性地改变结果。
50%待验证在AI评估中，‘可审计’意味着每一次决策的输入、输出、中间状态和系统干预都被完整记录，且记录可被独立验证。
50%待验证为了测试模型在真实场景中的表现，评估流程往往需要让模型访问实时互联网，例如检索信息、调用在线API或执行多步骤网络操作
50%