AntAngelMed：103B总参6B激活的医疗MoE模型

医疗AI的两难困境，被MoE架构撕开了一道口子

医疗机构部署AI一直面对一个棘手的选择：大模型足够可靠，但推理成本高得令人望而却步；小模型跑得动，却总在关键判断上犯错。AntAngelMed给出的答案走了一条中间路线——用Mixture-of-Experts架构把103B参数的知识容量塞进6.1B激活参数的推理开销里。

这个由蚂蚁健康联合浙江省卫生健康信息中心、浙江安诊儿医疗AI共同开发的模型，采用Apache-2.0许可，支持128K上下文窗口。在H20硬件上推理速度超过200 tokens/s，对于需要本地化部署的医院和健康科技公司来说，这意味着临床分诊、病历摘要和辅助决策可以在自有基础设施上运行，患者数据不必离开安全边界。

Mixture-of-Experts（MoE） 是一种稀疏激活的神经网络架构。传统稠密模型在处理每个 token 时都会调用全部参数，而 MoE 将前馈层拆分为多个"专家"子网络，并由一个可学习的路由门控网络决定每个 token 只激活其中少数几个专家。这使得模型可以拥有极大的总参数量（即知识容量），而单次推理实际参与计算的参数（激活参数）却小得多。AntAngelMed 的 103B 总参数 / 6.1B 激活参数，激活比率约 1/32，正是这一机制的体现：用接近 6B 稠密模型的算力开销，获得远超其规模的知识储备。MoE 的代价在于显存占用仍按总参数计算，且路由负载不均可能带来训练不稳定，因此常需配合负载均衡损失等技巧。

基准测试：中文医疗场景的全面领先

在MedBench v4——目前中文医疗领域最严格的基准测试（由医生参与评估）中，AntAngelMed拿下总榜第一，在5个维度上领跑。在OpenAI的HealthBench评测里，它是表现最好的开源模型，尤其在Hard子集（高难度临床案例）上优势明显。

AntAngelMed的强项集中在医疗问答和伦理安全维度。后者恰恰是许多模型容易忽略的方向——医疗AI不仅需要知识准确，更需要在边界场景下做出符合伦理规范的回应。

架构与训练：三阶段打磨

AntAngelMed基于Ling-flash-2.0（inclusionAI）的MoE架构，激活比率为1/32。训练分三步走：先做医疗领域的持续预训练，再进入异构数据的监督微调（覆盖数学、代码、临床对话），最后用GRPO配合专用奖励模型做强化学习。

硬件门槛方面，BF16全精度推理需要8张Ascend 910B（64GB）或4张Kunlun P800/PPU 810（96GB）；INT4量化后降到2张Ascend 910B。官方提供了FP8版本，社区也有mradermacher制作的GGUF量化版本可供llama.cpp使用。

关于语言支持，需要特别留意：训练数据以中文和英文为主。如果想在葡萄牙语或西班牙语等语种下用于临床场景，务必先做充分验证，同时保持范围护栏和引用核查器处于激活状态。

GRPO（Group Relative Policy Optimization） 是强化学习对齐阶段常用的一种策略优化算法，可视为 PPO 的简化变体。它不依赖独立的价值网络（critic），而是对同一提示采样一组多个回答，用组内奖励的均值作为基线来计算相对优势，从而大幅降低显存与训练成本。在医疗场景中，配合专用奖励模型，GRPO 可以针对答案准确性、引用规范性、伦理安全等维度施加偏好约束，让模型输出更贴近临床可接受的行为边界。相比监督微调只能模仿标准答案，强化学习阶段能让模型在开放式、多路径的临床对话中学会"哪种回答更好"，这也是 AntAngelMed 伦理安全维度表现突出的重要原因之一。

文中提到的 Ascend 910B、Kunlun P800/PPU 810 均为国产 AI 加速卡：前者来自华为昇腾系列，单卡 64GB HBM；后者来自百度昆仑芯，单卡 96GB。BF16 全精度推理需要 8 张 910B 或 4 张 P800，主要瓶颈不是算力而是显存——MoE 模型虽只激活 6.1B 参数，但全部 103B 权重仍需驻留显存。INT4 量化通过把权重压缩到 4 位整数，可将显存需求降至约四分之一，因此只需 2 张 910B。官方 FP8 版本则在精度损失与显存节省之间取得折中。GGUF 是 llama.cpp 生态使用的量化格式，适合在消费级或边缘设备上离线运行，社区版本为缺少高端加速卡的机构提供了另一条部署路径。

监管红线：benchmark第一不等于可以行医

再好的基准测试成绩也不能授权任何人行医。以巴西为例，诊断必须由持有CFM注册的医生做出（第12.842/2013号法律），远程医疗受CFM第2.314/2022号决议约束，具有医疗用途的软件归ANVISA的RDC 657/2022管辖，病历属于敏感个人数据（LGPD第11条）。

类似g.cloud这样的网关层，核心价值在于确保AntAngelMed（或任何模型）的输出在到达人类之前先过一道安全门：没有医生就没有诊断、敏感数据不泄漏、每个决策都有公开可审计的记录。

文中列举的巴西法规具有普遍参考意义：CFM 是巴西联邦医学委员会，负责医师注册与执业规范；ANVISA 相当于巴西的药监与卫生监管机构，RDC 657/2022 将具有医疗用途的软件纳入医疗器械监管；LGPD 是巴西《通用数据保护法》，其第 11 条把健康数据列为敏感个人数据，处理需满足更严格的法律依据。这一组合揭示了一个共性规律：医疗 AI 的合规至少涉及执业资质、软件准入、数据保护三条独立监管线，任何一条都不因模型跑分高而豁免。其他司法辖区（如欧盟 MDR、美国 FDA SaMD 框架、中国 NMPA 相关规范）逻辑类似，部署前应逐项核对本地法规，而非依赖单一基准成绩。

常见问题

可以商用吗？ 可以。Apache-2.0许可，权重开放，允许修改和自托管。

怎么集成？ 通过vLLM或SGLang以OpenAI兼容API提供服务，网关类产品可作为代理、SDK或插件接入，不需要改动模型本身。

适合非中英文市场吗？ 需要先验证。训练侧重中文和英文，其他语种的临床使用须经独立评估。

核心事实

• MoE架构：103B总参数 / 6.1B激活参数，Apache-2.0，128K上下文
• MedBench v4总榜第一，HealthBench最佳开源模型（Hard子集优势显著）
• H20上推理速度超200 tokens/s，官方FP8版本 + 社区GGUF量化
• 开发方：蚂蚁健康 + 浙江省卫生健康信息中心 + 浙江安诊儿医疗AI