[控场AI]
· 6 分钟阅读· 3,188 字

当算法决定你能住院多久:UnitedHealth 的 NHPredict 争议

当算法决定你能住院多久:UnitedHealth 的 NHPredict 争议

UnitedHealth旗下算法NHPredict通过1%偏差红线架空人类审核,揭示AI治理中监督名实分离的核心风险。

美国医疗巨头UnitedHealth旗下公司使用NHPredict算法决定患者在专业护理机构的保险覆盖时长,该算法系统性地给出比案例经理判断更早的出院日期。更关键的是,员工被要求判断偏差不得超过算法估算的1%,否则面临解雇风险——这实际上将"人类审核"沦为走过场。节目主持人由此指出:当企业制度性剥夺员工偏离算法的权力,该企业本质上就是由算法运营的。这一案例深刻揭示了AI落地中三大治理陷阱:人类监督的名实分离、算法激励与商业利益的深度绑定,以及"个性化医疗判断"话语掩护下的问责模糊化。算法本身不是问题,把算法置于彻底架空人类纠错能力的制度结构中,才是真正的危险所在。

医疗保险公司用算法替代医生判断,究竟会带来什么后果?美国电视节目《上周今夜秀》(Last Week Tonight) 把焦点对准了医疗巨头 UnitedHealth Group,揭露了一套名为 NHPredict 的算法如何实际上接管了患者护理时长的决策权。这个案例不只是关于一家保险公司,而是关于当企业把人类判断压缩到无足轻重时,算法治理可能走向的危险方向。

NHPredict:算法给出的"出院日期"

根据该节目的调查,UnitedHealth 旗下一家公司的前员工透露,在决定患者在专业护理机构(skilled nursing facilities)康复期间的保险覆盖时长时,公司高度依赖一套名为 NHPredict 的算法。这套算法会"routinely"(惯常地)给出一个比案例经理认为合理的日期更早的出院时间——而这个判断本应基于 Medicare(美国联邦医保)的覆盖准则。

换句话说,算法倾向于更早结束保险覆盖,让患者更早"出院",哪怕一线的医疗案例经理凭借经验判断患者还需要更长的康复时间。

they'd rely heavily on an algorithm called NHPredict,

专业护理机构(Skilled Nursing Facilities,SNF)是美国医疗体系中介于急症医院与居家护理之间的康复场所,通常承接髋关节置换、中风等大病术后患者。Medicare 对 SNF 的覆盖规则较为严格:患者须先在医院住院至少三天,方可获得最长100天的 SNF 报销资格,且前20天全额覆盖,第21至100天患者需自付共保额。保险公司作为 Medicare Advantage 计划的承保方,有权审核每一阶段的护理必要性并决定是否继续支付——正是在这个审核节点,NHPredict 得以介入并实质性地影响患者能在机构中待多久。这一制度结构意味着,算法给出的"出院日期"并非建议,而是直接关乎患者是否需要自掏腰包继续康复,或被迫提前回家承担潜在的健康风险。

1% 的红线:人类判断被压缩到极限

节目中最令人警醒的细节,来自一位前案例经理的亲述。当被问到能否凭借多年经验、在发现算法明显出错时动用人类判断去推翻它时,她的回答是:不能。

她解释说,公司的期望是她必须"stay within 3% of that estimated discharge date"(保持在算法估算出院日期的 3% 偏差范围内)。而到她离职时,这个容许偏差已经被收紧到了 1%。

更严峻的是,员工们表示,偏离这个 1% 的区间可能让自己面临纪律处分,甚至被解雇。这意味着所谓的"专业判断"在制度设计上几乎没有生存空间——当你只被允许在算法结论周围 1% 的缝隙里活动时,你的经验、你对患者的实际观察,统统让位于一行行代码输出的数字。

Wouldn't that be great? Unfortunately, no.

节目主持人尖锐地指出其中的逻辑漏洞:UnitedHealth Group 会辩称这些都是由公司医疗主管做出的"个性化决策"(individualized decisions),且符合 Medicare 的覆盖标准。但问题在于——如果一家公司实质上禁止其案例经理偏离算法超过 1%,那么这家公司本质上就是由算法运营的。

could mean exposing themselves to discipline, including possible termination.

"被算法运营的公司"意味着什么

这个论断触及了当前 AI 与自动化系统落地时最核心的治理难题:当算法的输出被赋予接近强制性的权威,而人类审核者的否决权被制度性地剥夺时,"人在回路"(human-in-the-loop)就沦为了形式。

名义上有医疗主管签字,名义上有案例经理把关,但真正做决定的是 NHPredict。人类的角色从"决策者"退化为"算法结论的执行者和背书者"。这种结构的危险性在于,它既保留了"由人负责"的外壳,又彻底架空了人的实质判断——出了问题,既可以归咎于个案的医疗主管,又可以把系统性倾向隐藏在算法的黑箱之中。

节目强调了一个朴素但关键的事实:算法会犯巨大的错误。主持人用一个轻松的比喻收尾——就连 HBO 的推荐算法都会在你追完《亢奋》(Euphoria) 后推荐他的节目,而那档节目"没有人性感、没有人嗑药、也没有人上床",堪称《亢奋》的"本体论对立面"。玩笑归玩笑,背后的警示很实在:一个在流媒体上推错剧集只会让你浪费一个晚上的算法,一旦被用在医疗保障这类生死攸关的场景里,错误的代价将是真实的人的健康与生命。

from deviating more than 1% from an algorithm, that company is run by an algorithm.

"人在回路"(Human-in-the-Loop,HITL)是 AI 安全领域的核心设计原则,指在自动化决策流程中保留人类审核、干预或否决的环节,以防止系统错误被无限放大。这一概念的有效性建立在一个前提上:人类审核者必须拥有真实的否决权,且行使该权力不会受到制度性惩罚。NHPredict 案例的讽刺之处在于,它在形式上完全符合 HITL 的设计——有案例经理,有医疗主管签字——但通过 1% 偏差红线和解雇威胁,将这一机制架空为橡皮图章。这与 AI 安全研究者所警告的"自动化偏见"(automation bias)高度吻合:当人类长期处于"确认算法结论"的角色时,不仅制度性判断能力萎缩,个体的批判性思维也会逐渐退化,最终形成人与算法共同强化错误决策的闭环。

对 AI 治理的启示

这个案例之所以值得 AI 从业者和政策制定者关注,是因为它暴露了算法部署中几个反复出现的陷阱:

  • 人类监督的名实分离:当偏离算法的成本(如被解雇)远高于遵从算法的成本时,所谓的人工复核就名存实亡。
  • 激励机制决定算法行为的真实后果:NHPredict 系统性地给出更早的出院日期,与保险公司控制赔付成本的商业动机高度一致,这让人难以相信算法是中立的。
  • 问责的模糊化:把决策包装成"个性化医疗判断",可以让企业在面对质疑时既推卸算法责任,又推卸个人责任。

算法本身不是问题,把算法放在一个剥夺人类纠错能力的制度里才是问题。当一个组织用 1% 的红线锁死所有人的判断空间时,它实际上已经把最重要的决定权交给了一套无法被追问、也无法承担后果的系统。

从监管角度看,这一案例正处于美国医保监管的灰色地带。Medicare Advantage 计划由私人保险公司承保,受联邦医疗保险和医疗援助服务中心(CMS)监管,但 CMS 对算法辅助决策的使用几乎没有专项规定。2023年,美国参议院曾就 UnitedHealth 等公司使用 AI 拒绝赔付的问题举行听证,部分州也开始立法要求保险公司披露算法审核的使用情况。这一监管滞后现象并非美国独有——当算法决策速度远快于立法周期时,企业往往能在监管框架形成之前完成大规模部署,并以"商业机密"为由拒绝外部审计。如何在不扼杀技术创新的前提下,对高风险场景的算法决策实施强制性透明度要求,是全球 AI 治理面临的共同挑战。

分享:

相关推荐