[控场AI]
· 3 分钟阅读· 1,957 字

Bengali农业咨询系统KRISHOKTECH:生成前后的显式授权控制

Bengali农业咨询系统KRISHOKTECH:生成前后的显式授权控制

KRISHOKTECH通过检索前准入、检索中作物绑定、生成后剂量验证三层授权边界,显著降低农业AI咨询的不安全输出。

孟加拉语农业咨询系统KRISHOKTECH针对生成式AI在农业场景中可能产生有害建议的问题,提出在生成过程前后设置显式授权边界,而非单纯依赖模型能力。系统包含三道控制关卡:检索前进行归一化和基于规则的准入检查,对高风险请求转介或追问;检索中将检索绑定到单一作物,检测文本与图像的多模态冲突并要求确认;生成后使用窄范围验证器移除缺乏BARI/BRRI证据支持的剂量声明。在200条农民查询和400条压力查询上的测试显示,跨作物检索违规从36.5%降至0%,文本-图像冲突检测捕获453/454,剂量错误验证器捕获114/118。界面以ASK、CONFIRM、REFER、DROP四种状态呈现决策并附带证据,提升透明性。该系统为高风险领域AI咨询提供了分层控制的可参考架构。

为什么农业咨询系统需要“授权边界”

生成式AI在农业咨询场景中面临一个关键矛盾:模型可能生成看似合理但实际有害的建议,比如不支持的剂量推荐,或者跨作物误用。据一项来自rss源的研究,孟加拉语农业咨询系统KRISHOKTECH的核心设计思路是在生成过程前后设置显式授权边界,而非单纯依赖生成模型的能力。

该系统的出发点很直接:生成答案只是问题的一部分,系统还必须控制不安全请求、适应有限网络连接,并容纳不断变化的农业指导。

KrishokTech系统概览

系统如何工作:三道控制关卡

检索前的准入检查

在检索之前,系统进行归一化和基于规则的准入检查。对于政策覆盖的高风险请求,系统会将其转介(REFER);当治疗意图描述不充分时,系统会主动询问(ASK)具体作物。这一步的关键在于不急于生成,而是先判断请求是否具备安全回答的前提。

检索中的作物绑定与冲突检测

系统将检索绑定到单一作物,当文本和图像指示不同作物时,要求用户确认(CONFIRM)。这种多模态一致性检查在农业场景中尤为重要——农民可能上传一张作物图片但文字描述的是另一种作物,直接生成会导致错误建议。

多模态一致性检查是指系统同时处理用户输入的文本和图像时,验证两者是否指向同一实体(此处为作物种类)。在农业咨询中,农民可能上传水稻叶片照片但文字描述为“番茄病害”,或者图像模糊导致模型误判。如果不加检查,检索会混合不同作物的知识库,生成跨作物误用的建议。该检查通过独立的作物识别模块分别从文本和图像中提取作物标签,若不一致则触发CONFIRM状态,要求用户明确确认,从而在检索前阻断潜在的错误绑定。

生成后的剂量验证器

生成之后,一个窄范围的验证器会移除检索到的BARI/BRRI证据不支持的剂量声明。农业指导被保存在外部证据索引中,可以更新而无需重新训练生成器,这解决了农业知识时效性的问题。

BARI/BRRI证据索引指的是孟加拉国两个权威农业研究机构维护的公开指导文档库:BARI(孟加拉国农业研究所)和BRRI(孟加拉国水稻研究所)。这些机构发布作物栽培、病虫害防治、施肥剂量等标准化建议,是当地农业推广的官方依据。将生成内容绑定到此类外部证据索引,意味着系统不依赖模型参数中的隐含知识,而是显式引用可追溯的权威来源。这样做有两个好处:一是剂量等关键数字有据可查,二是证据更新时只需修改索引,无需重新训练或微调生成模型,从而适应农业指导的时效性变化。

量化效果:控制机制的实际表现

研究在200条农民查询和400条压力查询上测试了这些控制措施。结果显示:

  • 控制机制成功拦截了描述不充分的请求;
  • 在测试的别名过滤器下,跨作物检索违规从36.5%降至0%;
  • 不匹配检测在454个文本-图像冲突中捕获了453个;
  • 验证器在118个插入的剂量错误中捕获了114个。

这些数字说明,显式授权边界在减少特定类型错误方面具有可测量的效果,尤其是跨作物检索违规的完全消除值得关注。

界面设计:让决策可见

系统界面将决策过程呈现为ASK、CONFIRM、REFER和DROP四种状态,并附带相应证据。这种透明性设计让用户理解系统为何询问、为何转介或为何拒绝,而不是面对一个黑箱式的回答。浏览器端视觉和本地检索则降低了对网络连接的依赖,适应农村地区的实际条件。

ASK、CONFIRM、REFER、DROP是系统定义的四种决策状态,对应不同的安全处置路径:ASK表示请求信息不足(如未指明作物),系统主动追问;CONFIRM表示检测到多模态冲突或模糊匹配,要求用户确认;REFER表示请求属于政策覆盖的高风险情形(如涉及禁用农药),系统转介至人工或官方渠道;DROP表示请求违反安全规则且无法补救,系统直接拒绝。每种状态都附带证据片段(如触发的规则或检索到的文档),使用户理解决策依据,而非面对无解释的拒绝或回答。

局限与启示

该研究是一项演示性工作,测试规模有限。剂量验证器采用窄范围设计,只针对剂量声明,其他类型的错误(如作物病害识别错误、施药时机建议偏差)不在覆盖范围内。此外,系统针对孟加拉语和BARI/BRRI证据体系构建,迁移到其他语言和农业体系需要重新设计证据索引和规则。

不过,其核心思路——在生成前设准入、在检索中绑约束、在生成后做验证——为高风险领域的AI咨询系统提供了一个可参考的架构模式。农业咨询之外,医疗、法律等场景同样面临生成内容安全性的挑战,这种分层控制的设计逻辑具有跨领域的借鉴价值。

#KRISHOKTECH#农业咨询系统#授权控制#生成式AI安全#孟加拉语AI#检索增强生成#剂量验证
分享:

相关推荐