健康AI最难落地：一线工程师的三个关键教训

在大多数工作里，AI 错了，你改改草稿就行。在健康领域，你可能没有第二次机会。

John 是一名资深 AI 与全栈工程师，过去一年他开发了一款健康信息助手 Tabibu。在这篇文章里，他分享了自己被问得最多的问题：为什么健康领域比其他他交付过 AI 的地方都要难得多？

错误代价：一次剂量错误不是笔误

在普通产品中，一个糟糕的回答最多让用户重试一次。但在健康场景下，有人可能会照着错误信息行动。John 因此改变了提问方式：不再问“这个回答好不好”，而是问“这里最糟糕但又可信的错误答案是什么？”

对 Tabibu 来说，这个答案指向剂量。所以系统的设计原则非常明确：不告诉任何人开始、停止或更改用药。这不是功能上的保守，而是对风险边界的主动划定。

这个思路值得所有做垂直领域 AI 的开发者借鉴：先找到你所在领域里“最坏的可信错误”，然后围绕它设计硬性限制。

语气陷阱：AI 对错时一样自信

这是让 John 作为工程师最意外的一点。模型在知道答案和纯靠猜的时候，给出的回答同样平静、流畅。患者通常分辨不出区别，因为分辨本身就需要专业知识。

据 John 的观察，问题不在于模型是否表达得自信，而在于用户缺少判断依据。他的应对方式是放弃把语气当作可信度信号：Tabibu 的回答会展示来源，当指南没有覆盖某个问题时，系统会明确说明，并把回答标注为一般信息。

这个教训不限于健康领域。任何面向非专家的 AI 产品，都应该把“来源可见”和“不确定时明说”作为基本设计，而不是可选项。

模型语气与正确性脱钩，根源在于大语言模型的训练目标：它被优化为生成“看起来合理”的续写，而非校准自身置信度。模型的输出概率分布反映的是语言上的常见程度，不是事实上的可靠程度，因此模型在胡编时同样流畅。学术上把这种现象称为“校准失败”（miscalibration）——模型自报的置信度与实际准确率不匹配。缓解手段包括检索增强生成（RAG），让回答锚定在可追溯的文献或指南上；以及在提示层要求模型在证据不足时明确说“不知道”。但这些方法只能降低、无法消除风险，尤其当用户本身缺乏领域知识、无法核对来源时。

监管红线：规则严格是有原因的

当软件影响医疗决策时，许多地方的监管机构会将其视为医疗器械，而这需要证据支撑。John 明确表示 Tabibu 不做出这种声称：它是一个信息工具，目前没有临床医生审核，限制条件都列在 tabibu.health/trust 页面上。

对开发者而言，这里的经验是把产品边界写下来、可测试，而不是含糊暗示。写清楚“我们不做什么”，往往比写清楚“我们能做什么”更重要。

“医疗器械”的定义在不同司法辖区差异很大，但通常围绕软件的预期用途展开：如果一款软件用于诊断、治疗、预防疾病，或影响临床决策，就可能被纳入医疗器械监管。美国 FDA 将部分临床决策支持软件（CDS）列为医疗器械，但若软件仅用于展示信息、且医疗专业人员能独立审阅其依据，则可能豁免；欧盟的 MDR 则对“用于医疗目的”的软件采取更宽泛的界定，多数健康类 App 需完成 CE 认证。这意味着同一款产品在不同市场可能面临完全不同的合规路径。对开发者来说，关键不是判断“我是不是医疗器械”，而是先明确预期用途并留存证据，再据此决定是否需要临床评价、质量管理体系（如 ISO 13485）和上市后监督。

并非无解：安全提醒能降低风险，但到不了零

据 Communications Medicine 发表的一项研究，研究人员测试了 20 个 AI 模型、超过 1000 万条回答。加入简短的安全提醒后，可能有害的临床选择从 16.6% 降至 10.1%，20 个模型中有 19 个出现下降。John 读的是 MedicalXpress 的报道而非论文原文，该研究负责人也表示，提醒只是一道保障，不能替代临床监督。

ECRI 的患者安全报告同样将诊断护理中的 AI 列为关注点。这与 John 的实际感受一致：问题不是 AI 对健康是好是坏，而是它在哪些环节足够安全，以及由谁来把关。

Communications Medicine 是 Nature 旗下聚焦医学与公共卫生的开放获取期刊，其发表的模型评测研究通常经过同行评审，但样本、提示设计和评估标准会显著影响结论的可推广性。文中引用的“1000 万条回答、20 个模型”属于大规模自动化评测，其“可能有害的临床选择”由评分规则判定，未必完全等同于真实临床后果。ECRI（Emergency Care Research Institute）是一家非营利患者安全组织，其年度《Top 10 Health Technology Hazards》报告被医院广泛引用，将 AI 列入诊断护理风险，反映的是临床一线对落地风险的共识，而非监管定性。阅读这类研究时，区分“评测环境下的有害率”与“真实世界伤害事件”很重要。

留给开发者的问题

John 在文末抛出一个问题：有哪一个健康决策，你永远不会交给 AI？他计划在后续内容中讨论这些工具的构建者、商业模式、规则制定者以及失败场景。

对正在或准备进入健康 AI 领域的团队来说，这三个教训指向同一个方向：把风险边界当作产品设计的第一性问题，而不是事后补丁。安全提醒有效，但到不了零；语气自信不等于答案正确；写清楚边界比藏着边界更专业。

一般信息，不构成医疗建议。