英国庇护AI摘要失败率22%：GPT-4o高风险场景翻车

英国Home Office在庇护面试流程中部署的AI摘要工具，被内部专家检查发现约22%的摘要在首轮审核中不合格。这起事件由 campaigning 组织 Open Rights Group（ORG）通过六个月的《信息自由法》申请和部长质询挖掘出来，The Register 与移民领域通讯 Thoughts on Immigration 分别交叉验证了核心数字。对于任何正在把大模型塞进高风险工作流的团队来说，这是一份难得的反面教材。

两个工具，同一套底层模型

据ORG调查，Home Office在庇护案件工作中使用了两款生成式AI工具。第一款是 Asylum Case Summarisation（ACS），负责把面试文字记录转成给案件工作者的摘要，自2026年4月起向所有庇护案件工作者开放。第二款是 Asylum Policy Search（APS），一个用于检索政府国别政策文件的对话工具，自2025年7月起被所有庇护决策者使用。

两者都通过微软 Azure AI Foundry 服务运行在 OpenAI 的 GPT-4o 之上。这意味着一个通用大模型被直接嵌入到决定个人命运的行政流程中，而ORG指出，申请人既不知道自己的案件被AI摘要过，也无法查看或更正这些摘要。

Azure AI Foundry 是微软提供的企业级 AI 应用开发与部署平台，前身为 Azure AI Studio。它把 OpenAI、Meta、Mistral 等多家模型以托管 API 的形式集中提供，并附带内容过滤、评测、监控与合规工具，方便政府或大企业把大模型集成进内部系统。对采购方而言，它的吸引力在于“一站式合规”——模型、算力、日志和访问控制都在同一云账户下，便于满足政府采购的安全审查。但这也意味着一旦把通用模型接入 Foundry，模型本身的黑箱特性并没有被消除，提示词管理、输出质量抽检和审计责任仍然落在部署方身上。Home Office 正是通过该平台调用 GPT-4o，却没有同步建立与之匹配的质量检查机制。

检查数据揭示了什么

The Register 与 ORG、Thoughts on Immigration 三方的数字大体吻合，但统计口径并不完全统一。在203份接受专家首轮检查的摘要中，有45份未通过，约22%；其中19份被标记需要进一步审查，而进入第二轮审查的56份里有30份仍未达标，失败率约54%。

更值得警惕的是检查覆盖率：2026年4月到7月之间，专家只抽查了约0.3%的AI摘要。在如此低的抽样率下，一个系统性问题可以运行数月而不被察觉。ORG还披露，2025年试点阶段有9%的摘要“不适合使用”，而在后续更大规模的抽样测试中，这一比例上升到15%——规模扩大后质量反而下滑。

据 The Register 报道，Home Office在8月确认APS的专家测试已经停止，但它此前曾告知议员检查仍在继续。ORG表示，Home Office拒绝分享员工培训方式、工具使用的提示词以及质量测试方法，部分答复还互相矛盾。这两款工具也未被列入政府的算法工具公开登记册。

The Register 同时提到，自4月以来平均每月初始庇护决定数量比2025年同期下降约42%，从面试到决定的时间增加了29%。该媒体明确指出，这不能证明是AI工具导致了两项变化。

在统计上，0.3% 的抽样率意味着约每 333 份摘要中只有 1 份被专家看过。若某类错误在总体中的发生率是 22%，抽取 203 份时，观测到的失败率有较大概率落在真实值附近，但这并不能保证低概率但高危害的错误（例如把关键日期或地点总结错）被捕捉到。要把误差控制在可接受范围内，抽样量通常需要达到数百到上千份，并覆盖不同语言、国别和面试官。更关键的是，低抽样率使置信区间很宽，Home Office 很难声称“系统性质量良好”。在监管语境下，抽检覆盖率本身就是一个可审计指标，而不仅是质量指标。

开发者和采购方该记住的五件事

这起事件的价值不在于嘲笑某个政府部门的采购决策，而在于它暴露了AI摘要系统在高风险场景中的通用缺陷。

抽样率不能低到形同虚设。 0.3%的检查比例意味着绝大多数输出从未被人类看过。任何部署在真实决策链上的AI系统，都需要把人工审核覆盖率设为一个有意义的最低门槛，而不是上线后象征性地抽几份看看。

试点数据不能替代真实负载下的评估。 试点9%的不合格率到了规模化使用后变成15%甚至更高。试点环境通常输入更干净、使用者更谨慎，一旦进入日常高压流程，模型面对的文本质量和边界情况都会恶化。

让被摘要的人有权查看和更正。 庇护申请人不知道AI摘要了自己的面试，也无法纠正其中的错误。一个基本的设计原则是：当系统在总结某人说过的话时，那个人应当有机会检查并修正。

保留可审计的记录。 ORG无法获得提示词或测试结果，这让外部审计几乎不可能。记录提示词版本、模型版本和评估结果，不只是合规要求，也是当系统被质疑时唯一能自证或自纠的依据。

警惕自动化吃掉原有的审查层。 ORG警告说，AI摘要可能移除了一层原本由人工专家提供的审核。把一个步骤自动化，很容易顺带移除这个步骤曾经提供的质量保障。

“自动化吃掉审查层”在安全工程中被称为“自动化偏见”与“责任稀释”。当系统给出看似权威的摘要时，人类审查者倾向于降低警觉，把摘要当作事实而非待核实的草稿，原本人工核对时能发现的错误因此被漏过。更隐蔽的是，组织往往在引入自动化后削减人力，使回到人工流程的成本变得极高，形成路径依赖。对高风险 AI 系统，可行的对策包括：明确要求人类审查者必须对照原始记录核对若干关键字段、在界面上标注摘要为“草稿”、定期做“人机对照”实验来度量审查者实际捕捉率，以及保留可随时恢复的人工全流程预案。

争议与诉求

ORG呼吁暂停这两款工具，对其在实际使用中的准确性进行独立审计并公布结果，同时要求独立边境与移民事务首席督察介入检查。ORG项目经理 Sara Alsherif 的措辞更为激进：“我们敦促政府监管AI，并彻底禁止其在庇护申请中的使用。”

Home Office没有回应 The Register 的提问。目前双方的核心分歧在于：Home Office似乎认为工具已在受控范围内运行，而ORG掌握的记录显示检查覆盖率极低、测试已停止、信息公开请求被回避。在独立审计落地之前，这场争论很难有定论。但22%的首轮失败率和0.3%的抽查率这两个数字放在一起，已经足够说明问题。