医学图像分割：基础模型微调与任务专用训练谁更胜一筹？

医学图像分割领域正经历一场范式之争：一边是在海量自然图像上预训练的基础模型（如DINOv2），另一边是从头训练的任务专用模型（如U-Net、ResU-Net）。直觉上，基础模型似乎应该全面胜出，但一项系统性的对比研究给出了更微妙的答案。

研究设计：从偏置调优到全量微调

该研究以DINOv2为对象，设计了从仅调优偏置项到全量微调的多种适配策略，并与从头训练的U-Net和ResU-Net进行对比。实验覆盖结肠镜、乳腺超声和皮肤镜三个成像域，测试集既包括训练来源的留出数据，也包括来自其他机构的独立数据集。这种跨站点验证的设计，恰好击中了此前多数对比研究的软肋——它们往往只在训练分布内评估，且基线配置缺乏充分论证。

DINOv2 是 Meta 于 2023 年发布的自监督视觉基础模型，基于 ViT（Vision Transformer）架构，在约 1.42 亿张经过筛选的自然图像上以自蒸馏方式预训练，无需人工标注。它输出的是通用视觉特征表示，本身不含分割头，因此用于下游任务时必须“适配”：常见做法包括仅训练偏置项（bias-only tuning）、训练轻量适配器（如 LoRA）、或全量微调。偏置调优只更新网络中少量偏置参数，冻结其余权重，是一种参数高效微调（PEFT）策略，适合数据量小、算力有限的场景，其隐含假设是预训练特征已足够好，只需小幅平移激活分布。

核心发现：外部泛化与分布内表现的分野

最明确的结论是：适配后的基础模型在每一个外部数据集上都表现出更好的泛化能力。当模型需要跨机构、跨设备部署时，这一优势具有直接的临床价值。

但在训练分布内，故事发生了反转。当训练数据充足时，任务专用模型依然具备竞争力，并且在边界勾画上更为精确；基础模型则更频繁地漏检小病灶。这说明基础模型的优势并非无条件成立，而是高度依赖于应用场景是"同分布"还是"跨分布"。

外部泛化指模型在训练时未见过、且来自不同机构或设备的数据上的表现，而分布内表现指在同源留出测试集上的精度。二者常出现背离：模型可能记忆了训练分布的纹理与采集特性，在同分布上得分很高，换一个站点就显著下降。医学影像中，不同医院的扫描仪型号、成像协议、患者群体都会造成域偏移，因此跨站点验证（out-of-distribution 测试）比单中心留出更能反映临床可部署性。边界勾画精度通常用 Hausdorff 距离或边界 F1 衡量，对小病灶敏感；小病灶漏检则与召回率相关，二者共同决定分割的临床可用性。

适配容量：少量参数足矣，域决定需求

研究还回答了一个实践中的关键问题：到底需要适配基础模型的多少参数？答案是只需要一小部分。更有意思的是，所需容量由成像域而非适配方法决定。这意味着工程团队在部署时，应根据目标域的复杂度来规划适配预算，而非纠结于选择哪种微调技巧。

基准数据集的隐忧

研究同时披露了一个值得警惕的发现：一个被广泛使用的息肉测试集，与另一个基准存在图像重复。基准污染会系统性高估模型性能，尤其当基础模型在预训练阶段可能已见过相关数据时。

基准污染（benchmark contamination）指测试集中的样本与预训练语料或另一基准的数据重叠，使模型在评估时“见过答案”，从而系统性高估性能。在基础模型时代这一风险被放大：DINOv2 等模型的预训练数据来自大规模网络爬取，医学图像也可能被无意收录。检测手段包括图像哈希去重、感知哈希（pHash）近邻检索以及嵌入空间相似度比对。若息肉测试集与另一公开基准存在重复图像，则基于该测试集的排名和结论都需要重新审视，尤其在比较预训练模型与从头训练模型时，前者受到的污染红利更大。

实践启示

对于计划将基础模型引入医学影像流水线的团队，这项研究给出了清晰的决策框架：若目标是跨站点鲁棒性，基础模型适配值得投入；若数据充足且追求边界精度，任务专用模型仍是可靠选择。同时，应审慎核查所用基准是否存在重复或污染，并在目标域上确定适配容量。