[控场AI]
产品rag_critic

rag-critic

一个轻量级Python包,用于RAG系统的对抗式事实审计,通过原子命题分解、NLI蕴含判断和连续接地分数来检测和纠正LLM生成中的无依据断言。

时间轴 (近 90 天)

10月24日

rag-critic 是一个轻量级 Python 包,作为对抗式验证节点在响应送达用户之前进行审计,可通过 pip install rag-critic 安装,采用 MIT 协议,已发布到 PyPI。

待验证50%
10月24日

rag-critic 的核心流程包括四步:原子命题分解、蕴含矩阵(NLI 判定 SUPPORTED/CONTRADICTED/UNGROUNDED)、连续接地分数(0.0-1.0)、可执行的改写指令。

待验证50%
10月24日

rag-critic 在接地分数跌破阈值(作者举例 0.85)时会暂停图执行,并向迭代改写代理发出具体诊断指令。

待验证50%
10月24日

rag-critic 提供原生 LangGraph 接入方式:create_critic_node() 生成验证节点,critic_router 根据审计结果路由,使图结构从线性变为带条件分支的循环。

待验证50%
10月24日

在作者的独立 Python 用法示例中,包含一句有依据断言和一句无依据融资断言的草稿答案被判定为 REJECTED_HALLUCINATION,接地分数为 50.0%。

待验证50%
10月24日

rag-critic 的评估延迟通过 Groq、OpenAI、Ollama 或启发式模式可做到亚秒级。

待验证50%
10月24日

rag-critic 支持 Ollama 本地模型,可 100% 离线运行,也提供启发式模式。

待验证50%
10月24日

rag-critic 定位为运行时门禁,RAGAS 定位为开发期质量看板,二者并非替代关系,可组合使用。

待验证50%
10月24日

原文没有给出任何基准测试数据,包括数据集、阈值校准方法和 NLI 分类器误判率。

待验证50%

全部知识事实 (9)

来源文章