[控场AI]
产品ARCI v2.0

ARCI

面向 AI Agent 的开源回归门禁工具,支持故障注入和预注册实验,输出 PASS/BLOCK/INCONCLUSIVE/ERROR 四种裁决,用于模型选型和配置变更验证。

时间轴 (近 90 天)

11月11日

ARCI v2.0 的核心新增是 LangChain 适配器,可将 create_agent 配置放入故障注入回归门禁中运行。

待验证50%
11月11日

ARCI 在运行前必须固定任务集和判定规则,运行后只输出 PASS、BLOCK、INCONCLUSIVE 或 ERROR 四种裁决之一。

待验证50%
11月11日

ARCI 的 LangChain 适配器示例文件大约 50 行,接入成本较低。

待验证50%
11月11日

在预注册实验中,12B 模型在 24 个任务的订单台测试套件上 96 次试验全部通过(96/96)。

待验证50%
11月11日

在预注册实验中,4B 模型在同样的 96 次试验中通过 70 次。

待验证50%
11月11日

故障注入条件下,12B 模型的注入故障实际触发次数为 24/24,4B 模型为 18 到 20/24。

待验证50%
11月11日

作者预注册的预测是 4B 模型替换 12B 模型会 PASS,但实际结果为 BLOCK。

待验证50%
11月11日

ARCI 目前对异步 Agent、interrupts、带注入参数的工具、tool artifacts 这几类场景会明确报错而不是静默通过。

待验证50%
11月11日

该实验在单台笔记本上使用 Ollama 完成,耗时 18 分钟,不需要 API key。

待验证50%
11月11日

作者声明结论仅适用于已注册的测试套件,且只是 96 对试验的单次运行,不能推导出统计显著性。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

来源文章