概念evaluation gate / eval gate
评估门禁
一种在CI/CD流程中针对影响LLM行为的代码变更设置的自动化评估拦截机制,通过运行黄金数据集评估而非人工代码审查来保证AI系统质量
时间轴 (近 90 天)
10月29日
评估门禁(eval gate)是把评估套件接入持续集成的做法:在 PR 流水线中对固定数据集跑一遍评估器,将各指标与主分支基线对比,超出阈值回退即阻断合并。
待验证50%
10月29日
落地评估门禁的关键设计包括:为每个指标设定容差而非要求绝对不降;区分硬性指标(安全、合规、工具调用合法性)与软性指标(语气、简洁度);对评估成本做分层,小数据集跑在每个 PR 上,全量数据集在合并前或夜间运行;并把每次运行的分数、评判者版本、数据集版本写入实验记录。
待验证50%