AI失败账本：20亿美元账单与真实买单者

当AI系统出错时，账单不会消失，只会转移到某个具体的人头上。ainvasion.com 整理的"AI Failure Ledger"（AI失败账本）追踪了全球一系列AI相关法律纠纷与赔偿案件，总额已超过20亿美元。这份账本的核心价值不在于数字的耸动，而在于它揭示了一个常被忽视的问题：自动化决策的成本，究竟由谁承担？

账本上最重的几笔账

Robodebt：5.48亿澳元的算法追债噩梦

Robodebt是澳大利亚福利部门在2015至2019年间运行的自动化债务追缴系统。该系统通过算法推算福利领取者可能欠政府的金额，并直接发出追债通知。问题在于，这个推算逻辑本身存在缺陷——它用收入平均值反推个人实际收入，导致大量错误追债。

2026年6月，Robodebt的失败成本被重新核算为5.485亿澳元。政府表示赔偿支付将在2026年底前启动。这一案件的标志性意义在于，它是少数由政府部门直接运营AI/自动化系统并造成系统性伤害的案例，且受害群体多为弱势人群。

Robodebt（全称 Robodebt scheme）是澳大利亚民政服务部（Centrelink）在2015年至2019年间推行的一项自动化追债计划，正式名称为"收入平均化与就业收入确认"。其核心机制是：将纳税人申报的年度收入数据，除以全年发薪周期数，得出"平均周收入"，再与福利领取期间的收入补助记录比对，若前者高于后者，系统即自动生成债务通知，并要求当事人自证清白。问题在于，许多福利领取者的收入并不均匀分布——季节性、临时性、多份兼职交替导致某些周收入远高于平均值，而 Robodebt 恰恰忽略了这种波动。系统还倒置了举证责任：原本应由政府证明债务存在，却被反转为受益人必须提供证据证明自己"不欠钱"。这直接违反了澳大利亚的行政法原则。2019年，联邦法院在一起代表性案件中裁定该计划违法。2020年，政府同意支付约18亿澳元和解金，而后续行政复核与赔偿方案的重新核算，最终将失败成本推高至5.485亿澳元。

RealPage：3.599亿美元反垄断和解

RealPage案的核心争议在于其租金定价算法是否构成价格操纵。美国司法部与加州总检察长分别对RealPage提起诉讼，援引《谢尔曼法》（Sherman Act）的反垄断条款。RealPage提出的集体和解金额为3.599亿美元，目前正在等待法院批准。

加州总检察长对RealPage的裁决日期为2026年10月2日。这一案件的关键点在于：算法定价工具是否应被视为价格合谋的工具？如果房东们共同使用同一个算法来设定租金，这算不算"协同定价"？这个法律问题的答案将深远影响整个定价算法行业。

RealPage 是一家总部位于美国得克萨斯州的房地产软件公司，其核心产品之一是基于算法的租金定价系统 YieldStar（后升级为 AIRM）。该系统收集房东输入的租赁数据与市场信息，通过算法向房东建议最优租金。在美国司法部与多州总检察长提起的诉讼中，原告主张：当大量房东（尤其是同一城市内的大型物业管理公司）共同采用同一算法工具时，该算法实质上起到了"价格协调中枢"的作用——它减少了房东独立定价时的市场竞争，形成了事实上的价格合谋。这触及《谢尔曼法》第1条的核心问题：明示合谋（如开会商定价格）通常违法，但算法工具是否构成"协同行为"在判例法中尚不明确。RealPage 案的关键法律争议点正在于此：如果房东并未直接沟通价格，只是各自向同一算法系统输入数据并接受其建议，算法本身能否被认定为"合谋"的媒介？这一问题的答案将决定整个定价算法行业的合规边界，并可能推动反垄断法在数字时代进行实质性扩展。

虚假引用制裁：单案11万美元

AI生成虚假法律引用（fake citations）导致的法院制裁，在单个案件中已达到110,204.38美元。2026年相关规则发生了调整，收紧了律师使用AI工具的责任边界。这类案件虽然金额不及前两者，但数量增长迅速，反映出一个普遍问题：律师在使用AI辅助研究时，未能验证AI输出的真实性。

一个关键事实：尚无法院认定责任

账本中一个容易被忽略但极其重要的信息是：到目前为止，没有法院在任何一起案件中作出最终的责任认定。

RealPage和解仍在等待批准，Robodebt的赔偿方案由政府主动提出而非法院判决，虚假引用制裁虽已生效但属于程序性处罚。这意味着，AI失败的法律责任边界仍然模糊。企业在部署AI系统时，面临的不是"是否合规"的明确答案，而是一片法律灰色地带。

谁在真正买单？

账本揭示的买单者分布并不均匀：

纳税人承担了Robodebt的成本。政府赔偿的资金来源是公共财政，而非系统开发方或决策者的个人责任。

租户可能是RealPage案的实际受害者。如果和解获批，赔偿将流向被过高租金影响的租客群体，但金额相对于系统性伤害而言可能只是杯水车薪。

律所和客户承担了虚假引用的代价。AI生成的错误引用导致制裁，最终由律所或客户支付罚款，同时消耗司法资源。

有意思的是，AI系统的开发者在这份账本中几乎没有直接出现在被告席上。风险的转移路径是：开发者→部署方→最终用户/公众。这条链条越长，责任越模糊。

法律规则的转向

2026年是一个规则密集调整的年份。虚假引用制裁规则的更新、RealPage案的裁决推进、Robodebt赔偿方案的时间表确定——这些事件共同指向一个趋势：法律体系正在从"AI创新优先"的默认立场，转向"责任明确化"。

但这种转向仍然是碎片化的。不同司法管辖区、不同法律领域（反垄断、消费者保护、程序法）对AI失败的回应各不相同。对于跨国运营AI系统的企业来说，合规将变成一项高度复杂的任务。

AI 虚假引用制裁的集中出现，与美国联邦及州法院对《联邦民事诉讼规则》第11条（Rule 11）的从严适用密切相关。Rule 11 要求律师在提交任何书状前，必须进行"合理调查"，确保其法律主张有现行法律依据、事实主张有证据支持。传统上，法院对 Rule 11 制裁持克制态度，通常以警告或培训代替罚款。但自2023年起，多起律师提交 AI 生成虚假判例的案件被法院主动曝光并施加制裁，部分法官开始明确要求律师披露是否使用生成式 AI 辅助研究。2026年的规则调整进一步收紧了"合理调查"标准：律师不能以"AI 输出错误"作为免责理由，必须对每一条引用进行独立验证。这一转向的意义在于，它将 AI 工具的使用责任明确锚定在人类专业人士身上，而非工具本身。对律所而言，这意味着需要建立 AI 输出验证的内部流程；对 AI 服务商而言，产品责任仍未被直接触及——这与 Robodebt、RealPage 案中开发者隐身于被告席之外的模式一致。

账本的真正意义

"AI Failure Ledger"的价值不在于预测未来，而在于记录已经发生的事。这份账本提醒我们：AI系统的失败不是抽象的技术问题，它会产生具体的、可量化的、由特定人群承担的代价。而目前的法律框架，远未准备好回答"谁该为算法错误买单"这个基本问题。

当你在部署一个自动化决策系统时，不妨问自己一个问题：如果它出错了，账会记在谁头上？