Guardrails AI
开源的LLM输出护栏框架，通过验证器和过滤规则对LLM的文本输出进行结构化约束和安全检查
核心事实
时间轴 (近 90 天)
OpShield的诞生背景是Guardrails AI被Harvey收购后，市场上缺少独立、可自托管的安全替代方案。
2024年，Guardrails AI团队被AI法律科技公司Harvey收购，核心成员并入Harvey，原项目的独立发展节奏和社区维护力度随之减弱。
NVIDIA NeMo Guardrails和Guardrails AI等护栏框架试图在模型输出前后插入规则检测层，但目前多聚焦于内容过滤而非行为意图验证
Guardrails AI、NeMo Guardrails等框架已针对文本输出设计了护栏机制
Guardrails AI 和 NeMo Guardrails 等框架提供声明式的策略配置，将基于规则的硬性限制和基于分类模型的软性过滤结合
NVIDIA的NeMo Guardrails和Guardrails AI等开源框架允许开发者为LLM输出设置规则约束和验证流水线
防御提示词注入的手段包括输入过滤、输出检查、使用独立安全模型作为守门人(如Guardrails AI、NeMo Guardrails)以及限制Agent工具调用权限
业界代表性的Guardrail实现包括NVIDIA的NeMo Guardrails和Guardrails AI
全部知识事实 (14)
Guardrails AI的验证器可以基于规则、基于模型或基于外部API运行
65%待验证Guardrails AI的联合创始人兼CEO是Shreya Rajpal
90%待验证Guardrails AI的核心产品是一个开源的Python框架，允许开发者为LLM应用设置结构化的验证规则（护栏）
90%待验证开发者可以通过Guardrails Hub发布和共享自定义验证器
90%待验证Guardrails AI的验证器采用管道化（Pipeline）架构设计，每个验证器是独立的可插拔检查模块
90%待验证Guardrails AI已获得多轮风险投资
75%待验证业界代表性的Guardrail实现包括NVIDIA的NeMo Guardrails和Guardrails AI
70%待验证OpShield的诞生背景是Guardrails AI被Harvey收购后，市场上缺少独立、可自托管的安全替代方案。
50%待验证NVIDIA NeMo Guardrails和Guardrails AI等护栏框架试图在模型输出前后插入规则检测层，但目前多聚焦于内容过滤而非行为意图验证
50%待验证Guardrails AI、NeMo Guardrails等框架已针对文本输出设计了护栏机制
50%待验证Guardrails AI 和 NeMo Guardrails 等框架提供声明式的策略配置，将基于规则的硬性限制和基于分类模型的软性过滤结合
50%待验证NVIDIA的NeMo Guardrails和Guardrails AI等开源框架允许开发者为LLM输出设置规则约束和验证流水线
50%待验证防御提示词注入的手段包括输入过滤、输出检查、使用独立安全模型作为守门人(如Guardrails AI、NeMo Guardrails)以及限制Agent工具调用权限
50%待验证2024年，Guardrails AI团队被AI法律科技公司Harvey收购，核心成员并入Harvey，原项目的独立发展节奏和社区维护力度随之减弱。
50%