[控场AI]
概念安全护栏 / guardrails / 安全约束机制

Guardrail

在大语言模型训练和推理阶段内置的多层约束机制,包括RLHF价值对齐、输入输出内容过滤层及系统提示词行为规则,用于防止模型产生有害输出

核心事实

时间轴 (近 90 天)

10月10日

护栏机制制定三条规则:AI 不许编造、不知道就必须说不知道、回答时始终引用来源

待验证50%
10月4日

新版本允许自定义输出守护栏被拦截时的提示消息

待验证50%
10月1日

生成答案并引用来源的模式有助于缓解 AI 幻觉带来的信任问题

待验证50%
9月28日

护栏(Guardrail)在AI系统领域泛指对模型或Agent输出及行为施加的约束层

待验证50%
8月27日

Guardrail护栏机制是一套对模型输入输出进行校验和过滤的机制,可在输入进入模型前或输出返回用户前拦截敏感信息、非法请求或不符合规范的内容

已验证65%
8月26日

Guardrail是一套对模型输入输出进行校验和过滤的机制,可在输入进入模型前或输出返回用户前拦截敏感信息

已验证65%

全部知识事实 (6)

来源文章