[控场AI]
概念CAFA-IVR框架 / CAFA-IVR release gate

CAFA-IVR

一个用于评估AI系统发布门禁的框架,包含基线/候选比较、指标检查和fail-closed语义设计,支持通过退出码区分检查失败与工具故障

时间轴 (近 90 天)

10月19日

CAFA-IVR框架v1.0在汇总CSV出现缺失、非数值或非有限指标时,门禁无法评估指标却让流水线继续前进。

待验证50%
10月19日

CAFA-IVR v1.1.0更新日志声明:基线/候选比较现在对缺失、非数值、非有限或空的启用指标执行fail-closed,以前放行畸形输入的流水线现在以状态码2退出。

待验证50%
10月19日

在CAFA-IVR v1.1.0中,指标缺失、无法解析为数字、解析为无穷大或NaN、汇总文件不可读或为空,任一情况都会打印FAIL、指明违规输入并以状态码2退出。

待验证50%
10月19日

CAFA-IVR框架自带的试点数据集(360次试验的复现数据)没有关键实体标注,汇总中报告ceer: null,因此无法通过自身的CEER门禁。

待验证50%
10月19日

CAFA-IVR v1.1.0提供--no-ceer-gate选项用于显式退出CEER检查。

待验证50%
10月19日

CAFA-IVR的compare命令接受--max-wer-delta参数,但默认值为None即禁用WER回退门禁。

待验证50%
10月19日

CAFA-IVR框架实际门禁的量是ASR-IFR和CEER的增量,WER只作为可选诊断项。

待验证50%
10月19日

CAFA-IVR README声明默认数值门禁是工具演示示例而非通用验收标准,生产团队应根据风险等级和历史基线自行治理阈值。

待验证50%
10月19日

CAFA-IVR中--max-asr-ifr-delta默认值为0.02,--max-ceer-delta默认值为0.01。

待验证50%

全部知识事实 (9)

来源文章