ARCI
面向 AI Agent 的开源回归门禁工具,支持故障注入和预注册实验,输出 PASS/BLOCK/INCONCLUSIVE/ERROR 四种裁决,用于模型选型和配置变更验证。
时间轴 (近 90 天)
ARCI v2.0 的核心新增是 LangChain 适配器,可将 create_agent 配置放入故障注入回归门禁中运行。
ARCI 在运行前必须固定任务集和判定规则,运行后只输出 PASS、BLOCK、INCONCLUSIVE 或 ERROR 四种裁决之一。
ARCI 的 LangChain 适配器示例文件大约 50 行,接入成本较低。
在预注册实验中,12B 模型在 24 个任务的订单台测试套件上 96 次试验全部通过(96/96)。
在预注册实验中,4B 模型在同样的 96 次试验中通过 70 次。
故障注入条件下,12B 模型的注入故障实际触发次数为 24/24,4B 模型为 18 到 20/24。
作者预注册的预测是 4B 模型替换 12B 模型会 PASS,但实际结果为 BLOCK。
ARCI 目前对异步 Agent、interrupts、带注入参数的工具、tool artifacts 这几类场景会明确报错而不是静默通过。
该实验在单台笔记本上使用 Ollama 完成,耗时 18 分钟,不需要 API key。
作者声明结论仅适用于已注册的测试套件,且只是 96 对试验的单次运行,不能推导出统计显著性。
还有 2 条时间轴事件
全部知识事实 (12)
ARCI 的安装命令为 pip install "agent-reliability-ci[langchain]",初始化命令为 arci init --langchain,运行命令为 arci run arci.yaml。
50%待验证ARCI 是一个面向 Agent 的开源回归门禁。
50%待验证ARCI 的 LangChain 适配器示例文件大约 50 行,接入成本较低。
50%待验证在预注册实验中,12B 模型在 24 个任务的订单台测试套件上 96 次试验全部通过(96/96)。
50%待验证在预注册实验中,4B 模型在同样的 96 次试验中通过 70 次。
50%待验证故障注入条件下,12B 模型的注入故障实际触发次数为 24/24,4B 模型为 18 到 20/24。
50%待验证ARCI 在运行前必须固定任务集和判定规则,运行后只输出 PASS、BLOCK、INCONCLUSIVE 或 ERROR 四种裁决之一。
50%待验证ARCI 目前对异步 Agent、interrupts、带注入参数的工具、tool artifacts 这几类场景会明确报错而不是静默通过。
50%待验证该实验在单台笔记本上使用 Ollama 完成,耗时 18 分钟,不需要 API key。
50%待验证作者声明结论仅适用于已注册的测试套件,且只是 96 对试验的单次运行,不能推导出统计显著性。
50%待验证作者预注册的预测是 4B 模型替换 12B 模型会 PASS,但实际结果为 BLOCK。
50%待验证ARCI v2.0 的核心新增是 LangChain 适配器,可将 create_agent 配置放入故障注入回归门禁中运行。
50%