脊柱关键点检测新范式:像素级对比学习+可微形状建模

将脊柱关键点检测重构为像素级对比学习并融合可微形状先验,提升相邻椎骨角点区分度。
本文介绍了一种面向脊柱X光片关键点检测的新方法。针对传统热图回归难以区分相邻椎骨角点的问题,作者将关键点检测重新定义为像素级对比表示学习问题,通过匹配像素嵌入与关键点原型来增强判别力,即使使用通用U-Net骨干也能生成比热图回归更清晰的热图。为进一步消除遮挡或低对比度下的位置歧义,方法引入可学习的形状先验,以可微方式对脊柱关键点的全局配置建模并提供约束。在公开AASCE数据集和两个私有数据集上,该方法的关键点准确度与Cobb角等临床参数估计均与最先进方法相当,且代码与预训练权重已开源。
脊柱X光片的关键点检测是评估脊柱变形严重程度、构建生物力学模型和术前规划的关键步骤。传统方法通常采用热图回归,但往往难以区分相邻椎骨的角点。近期一篇论文提出将解剖关键点检测重新定义为像素级对比表示学习问题,并融合可学习的形状先验,在多个数据集上取得了与最先进方法相竞争的性能。

从热图回归到像素级对比学习
传统的关键点检测方法通常将问题建模为热图回归:网络预测每个像素属于关键点的概率,然后取峰值作为预测位置。然而,这种方法在脊柱X光片中面临挑战——相邻椎骨的角点位置接近,热图容易模糊,导致区分度不足。
该研究另辟蹊径,将关键点检测视为像素级对比表示学习问题。具体来说,网络学习将每个像素映射到一个嵌入空间,使得属于同一关键点的像素嵌入与关键点原型(prototype)相近,而不同关键点的像素嵌入则远离。令人惊讶的是,即使使用通用的U-Net骨干网络,这种形式也能产生比传统热图回归更具判别力的热图,从而更好地区分不同椎骨的角点。
这一发现的意义在于:它表明通过对比学习目标,模型能够自动学习到更细粒度的特征,而无需复杂的网络设计。据论文所述,该方法在公开的AASCE数据集和两个私有脊柱X光数据集上,关键点准确度和临床参数估计均与最先进方法相当。
热图回归是人体姿态估计和关键点检测中的经典范式。其做法是为每个关键点生成一张高斯热图作为监督信号,网络输出每个像素成为该关键点的概率,推理时取热图峰值坐标作为预测位置。热图回归的优点在于保持了空间结构信息,对关键点的定位精度较高,且输出形式与卷积网络天然兼容。但其局限也很明显:当多个关键点距离很近时,高斯热图会发生重叠与模糊,峰值难以区分;此外热图分辨率受下采样影响,需要额外的偏移量回归或上采样来恢复精度。脊柱X光片中相邻椎骨角点间距小、外观相似,正是热图回归容易失效的典型场景。
对比表示学习的核心思想是拉近正样本对在嵌入空间中的距离、推远负样本对,从而学习到判别性强的特征表示。常见做法如InfoNCE损失,通过大量负样本来近似互信息下界。像素级对比学习则将这一思想下沉到每个像素:把属于同一关键点的像素视为正样本,不同关键点的像素视为负样本,并引入一组可学习的关键点原型作为锚点。这样网络不仅要判断像素“是不是关键点”,还要判断“是哪一个关键点”,从而在嵌入空间中将不同椎骨的角点自然分开。这种目标比逐像素分类提供了更细粒度的监督信号,也是该方法热图判别力更强的根本原因。
可微形状建模:解耦位置歧义
尽管像素级对比学习提升了热图的判别力,但仅靠局部外观信息仍可能在某些情况下产生歧义,例如当某个关键点被遮挡或图像对比度较低时。为此,研究团队进一步引入了可学习的形状先验,对脊柱关键点的全局配置进行建模。
具体而言,他们将热图与形状先验结合,通过可微的方式优化关键点位置。形状先验能够捕捉脊柱关键点之间的空间关系(如椎骨的相对位置和角度),从而在局部信息不可靠时提供全局约束,解决位置歧义。这种组合形成了一种简单而实用的脊柱关键点检测流程。
据论文描述,该方法在AASCE数据集和两个私有数据集上均表现出竞争力,不仅在关键点定位精度上媲美现有方法,在临床参数(如Cobb角)估计上也取得了良好效果。
可微优化指将某个优化过程(如最小化形状先验的能量函数)实现为可求导的模块,使梯度能够从优化结果回传到前端网络,实现端到端训练。在关键点检测中,常见做法是将热图响应与形状约束共同构成能量项,通过若干步可微的迭代求解(如梯度下降或可微的拟合层)得到最终关键点坐标。相比先取峰值再做后处理的不可微流程,可微形状建模能让形状先验在训练阶段就影响特征学习,使网络输出的热图与全局解剖约束相互适配。代价是需要设计合适的能量函数与迭代步数,并在精度与计算开销之间权衡。
开源与可复现性
为促进后续研究,作者开源了代码和预训练权重,仓库地址为 https://github.com/BioMedTP/Pix2Point。这一举措有助于其他研究者快速复现和验证该方法,推动脊柱影像分析领域的发展。
总结与展望
该研究通过将关键点检测重新定义为像素级对比学习问题,并结合可微形状建模,为脊柱X光片的关键点检测提供了一种新思路。实验结果表明,该方法在多个数据集上具有竞争力,且开源实现降低了使用门槛。未来,这种结合表示学习和形状先验的框架有望扩展到其他解剖结构的关键点检测任务中。
需要注意的是,该方法目前主要在脊柱X光片上验证,其在其他模态(如CT、MRI)上的泛化能力仍需进一步探索。此外,形状先验的设计依赖于关键点的全局配置,对于严重畸形或异常解剖结构的适应性也有待研究。
相关推荐

Claude Code实战:零代码搭建切片工厂,长视频自动变竖屏短视频
B站UP主悟空用Claude Code零代码搭建切片工厂,将35分钟长视频自动切成10条竖屏短视频。从Plan Mode、Whisper转写、claude.md规则、Hook质检到Subagent审核和Plugin分发,完整实战流程与实测数据。

WorkBuddy保姆级教程:AI Agent如何帮你自动转文件
WorkBuddy保姆级教程实战:从豆包只能给方案到AI Agent直接动手,三分钟批量转换PDF并归档。含安装、积分机制、与Codex对比及上手建议。

零基础入门Java+DeepSeek实战:程序员转型AI大模型开发指南
本文基于B站直播教学,详解Java程序员如何零基础转型AI大模型开发,涵盖技能路径、实战构建第一个Java AI应用、简历包装与求职策略,助你抓住大模型时代机遇。