AI评估
对AI模型或系统能力进行系统性测量的方法，通常在离线或准离线环境中通过预定义测试集和评分标准衡量输出质量，维度包括准确性、相关性、忠实度、有害内容检测等
核心事实
时间轴 (近 90 天)
对概率性系统必须通过多次采样、统计分布的方式进行评估，传统单次运行、单点断言的测试方式无法可靠捕捉其真实质量
在当前行业通识里人工评估被视为金标准
AI测试引入评估（Evaluation）概念，通常使用0到1的连续值打分，评估负责打分而测试负责划定及格线
对于声称破解长期未解密码的成果，密码学界通常要求公开方法论和可验证的结果
改进评估的措施包括加强环境隔离防护、引入完整性审计机制、设计更难被利用的评估协议（如动态生成测试用例、隐藏验证细节）
被测版本由所使用的模型、模型参数、提示词、上下文共同构成，任何一项变化都意味着被测版本的改变
对AI进行测试的核心变革在于从「断言」（Test）走向「评估」（Evaluation），这是国际通行的做法
AI评估与性能测试有高度相似之处，都不特别关心单次的对错，而是通过一组数据和多轮对比发现问题得出结论
只有替换一个版本时才可以做横向对比，两个版本同时变化就失去对比价值
被测系统版本不仅是软件版本号，还包括模型类型、参数配置（温度、top_p等）、提示词策略和上下文信息
还有 4 条时间轴事件
全部知识事实 (14)
AI测试要求同时固定被测版本和评估版本，只有固定一个版本、变动另一个才具备横向对比价值
80%已验证AI评估对象分为大语言模型评估、知识库（RAG）评估、智能体（Agent）评估三层，且呈知识度和复杂度递增的递进关系
80%已验证AI领域常采用0到1的连续值打分，也可用0和1两个离散值表示传统的不通过与满分
70%待验证AI测试引入评估（Evaluation）概念，通常使用0到1的连续值打分，评估负责打分而测试负责划定及格线
60%待验证对于声称破解长期未解密码的成果，密码学界通常要求公开方法论和可验证的结果
60%待验证对AI进行测试的核心变革在于从「断言」（Test）走向「评估」（Evaluation），这是国际通行的做法
60%待验证AI评估与性能测试有高度相似之处，都不特别关心单次的对错，而是通过一组数据和多轮对比发现问题得出结论
60%待验证AI评估不是判断对或错，而是通过打分机制表达质量好坏
60%待验证对概率性系统必须通过多次采样、统计分布的方式进行评估，传统单次运行、单点断言的测试方式无法可靠捕捉其真实质量
50%待验证在当前行业通识里人工评估被视为金标准
50%待验证改进评估的措施包括加强环境隔离防护、引入完整性审计机制、设计更难被利用的评估协议（如动态生成测试用例、隐藏验证细节）
50%待验证被测版本由所使用的模型、模型参数、提示词、上下文共同构成，任何一项变化都意味着被测版本的改变
50%待验证只有替换一个版本时才可以做横向对比，两个版本同时变化就失去对比价值
50%待验证被测系统版本不仅是软件版本号，还包括模型类型、参数配置（温度、top_p等）、提示词策略和上下文信息
50%