犹他州拟允许AI独立诊断开药,无需人工监督引热议

犹他州拟立法允许AI无人监督独立诊疗开药,挑战医疗AI"人在回路"安全底线。
美国犹他州正考虑一项激进立法:允许人工智能在无人工监督的情况下,直接检查患者并开具处方药。这一提案打破了医疗AI长期坚守的"人在回路"原则——即人类医师始终掌握最终决策权的安全底线。立法冲动来自现实压力:美国基层医疗资源严重短缺,AI自主诊疗若能规模化,理论上可提升偏远地区医疗可及性并压低成本。然而争议同样尖锐,核心矛盾集中于三点:AI误诊或开错药时责任无法追溯、大语言模型存在"幻觉"(以高置信度输出错误信息)的固有缺陷、以及训练数据偏见可能导致对特定人群的系统性误判。这一案例被视为观察社会对"算法行医"接受度底线的重要样本,也预示着AI自主医疗决策的边界之争才刚刚开始。
一条可能改写医疗边界的提案
一则来自Hacker News的消息引发了科技与医疗圈的关注:美国犹他州正考虑允许人工智能在没有人工监督的情况下,直接对患者进行检查并开具处方药物。这意味着AI或将从辅助工具的角色,升级为可以独立做出临床决策的主体。
尽管目前这条消息的讨论规模还很有限(原帖仅有4个点赞和1条评论),但其背后触及的议题却分量十足——当算法开始替代医生做出关乎健康甚至生命的决定时,监管、责任与安全的天平该如何摆放?

从"辅助"到"独立决策"的跨越
长期以来,AI在医疗领域的定位一直是"增强人类"而非"取代人类"。无论是影像识别辅助放射科医生发现病灶,还是临床决策支持系统为医生提供用药建议,最终拍板的始终是持证的人类专业人员。这种"人在回路"(human-in-the-loop)的设计,被视为医疗AI安全落地的基本底线。
犹他州的这一提案若成真,则是对这条底线的突破。允许AI"without human oversight"(无需人工监督)地检查患者并开药,等于承认AI系统具备了独立承担临床责任的能力。这在美国各州的医疗立法中属于相当激进的尝试。
为什么会有这样的立法冲动
不难理解推动者的现实考量。美国许多地区长期面临基层医疗资源短缺、全科医生不足、偏远地区就医难等结构性问题。AI诊疗若能规模化部署,理论上可以缓解医生缺口、降低成本、提高基础医疗的可及性。对于一些难以留住医生的乡村社区而言,一个"永远在线"的AI问诊系统或许比没有医生更好。
犹他州本身在科技监管上向来以相对开放和实验性著称,此次探索也延续了这种先行先试的风格。
"人在回路"(Human-in-the-Loop,HITL)是AI安全领域的核心设计原则之一,指在AI系统的决策流程中,始终保留人类介入、审核或否决的环节。与之对应的概念是"人在圈外"(Human-out-of-the-Loop)或"人在监控环路"(Human-on-the-Loop)——后者允许AI自主执行,但人类保留事后干预权。在医疗语境中,HITL不仅是技术安全考量,也是现行医疗执照制度的法律基础:绝大多数国家的医疗事故责任追溯,依赖于"有证可查的人类医师做出了最终判断"这一前提。一旦移除这一环节,现有的法律框架将面临系统性的适用困境。
核心争议:谁来为错误买单
这项提案最尖锐的问题在于责任归属。当AI开错了药、漏诊了重症、或给出了危险的治疗建议时,法律责任应由谁承担?是开发算法的科技公司,是部署系统的医疗机构,还是监管批准的政府部门?在缺乏人类医生最终签字的情况下,传统的医疗事故追责链条将变得模糊。
此外还有几个无法回避的技术与伦理隐患:
- 幻觉与误诊风险:当前的大语言模型仍存在"一本正经地胡说八道"的问题,在高风险的临床场景中,任何一次幻觉都可能造成不可逆的伤害。
- 数据偏见:如果训练数据对某些人群覆盖不足,AI的诊疗建议可能对特定族群、性别或年龄群体产生系统性偏差。
- 知情同意:患者是否清楚自己面对的是一个没有人类监督的AI?他们能否真正理解并同意这种诊疗方式?
大语言模型(LLM)的"幻觉"(Hallucination)问题在医疗场景中尤为危险。幻觉是指模型以高度自信的口吻生成听似合理、实则错误甚至无中生有的信息——包括捏造药物剂量、引用不存在的临床指南、或将罕见病症与常见病症混淆。这一现象的根本原因在于LLM的运作机制是基于统计概率的文本预测,而非对医学知识的真正「理解」。目前学界和产业界正通过检索增强生成(RAG)、思维链提示(Chain-of-Thought)、以及专门的医疗垂直模型微调来缓解这一问题,但尚无任何技术方案能将幻觉率降至临床可接受的零误差水平。这也是为何即便是最乐观的医疗AI倡导者,通常仍主张保留医师的最终审核环节。
行业信号:监管正在被技术倒逼
抛开这则具体新闻的真伪与进展不谈,它折射出一个更大的趋势:AI能力的快速膨胀正在逼迫监管体系做出回应。过去那种"AI只能当助手"的默认共识,正在被一些激进的立法尝试所挑战。
无论犹他州的提案最终能否落地,它都可能成为一个重要的观察样本——它将检验社会对"算法行医"的接受度底线,也会为其他州乃至其他国家的医疗AI监管提供参照。可以预见,围绕AI自主医疗决策的边界之争,才刚刚开始。
结语
这条源自Hacker News的简短消息,信息量虽有限,却点出了AI应用深水区最核心的矛盾:效率与安全、创新与责任之间的张力。医疗是AI落地中容错率最低的领域之一,任何"去掉人工监督"的尝试都值得被严格审视。在期待技术红利的同时,建立清晰的责任框架与安全护栏,或许比急于放权更为紧迫。
相关推荐

零成本搭建AI超级员工系统:智能体自动工作流全解析
深度拆解B站演示的AI超级员工系统:Agent智能体编排、数字人口播、地图与企业获客、24小时智能客服及法务模块全覆盖。分析零成本开户背后的商业逻辑与合规风险,帮助创业者判断这套AI数字员工系统的真实投产比。

Chatbot与AI Agent的本质区别:从对话到执行的跨越
Chatbot和AI Agent有什么区别?本文基于Learn Tech频道的MCP系列讲解,用订机票、笔记摘要等实例说明:Chatbot只给答案,Agent通过思考-行动-观察循环真正完成任务,并拆解模型、工具、记忆、目标四大部件及MCP的桥梁作用,同时讨论Agent的适用边界与权限风险。

免费GitHub仓库:342小时AI课程,从数学到MCP服务器
一个免费GitHub仓库提供342小时AI课程,包含523节课、20个阶段,覆盖数学基础到Agent构建和MCP服务器。支持目标驱动学习,每节课产出可留存的prompt、skill或agent,已有近10万人开始学习。