EM-DETR
一种基于示例驱动grounding的医学病灶检测基础模型,基于DETR架构,通过参考示例而非固定类别分类头来定位和识别病灶,适配多领域异构标签空间的联合学习场景
时间轴 (近 90 天)
论文提出了一种学生-教师训练策略,用于组合标签空间不同的医学图像数据集,以缓解灾难性遗忘并改善特征学习。
EM-DETR 是一个基于示例驱动(example-based grounding)的检测框架,模型通过参考示例来定位和识别目标,而非仅依赖固定的类别分类头。
研究团队将 EM-DETR 框架适配到多领域联合学习场景,使其能够在多个领域特定数据集上联合学习,实现跨模态的细粒度、示例驱动检测。
在胸部X光片(CXR)的四项关键发现上,该模型的图像级 AUC 分数超过此前 SOTA 1个百分点。
在 CXR 和乳腺钼靶上,该模型取得了领先的 mAP50,相比仅在单一数据集上训练的 EM-DETR 高出 2-3 个百分点。
EM-DETR 将示例驱动检测思想融入 DETR(Detection Transformer)架构,利用 Transformer 的查询机制实现示例与图像特征的交互。
该工作展示了一条利用异构数据构建可扩展基础模型的路径:通过学生-教师策略处理标签空间差异,通过示例驱动检测框架实现跨模态联合学习。
全部知识事实 (7)
论文提出了一种学生-教师训练策略,用于组合标签空间不同的医学图像数据集,以缓解灾难性遗忘并改善特征学习。
50%待验证EM-DETR 是一个基于示例驱动(example-based grounding)的检测框架,模型通过参考示例来定位和识别目标,而非仅依赖固定的类别分类头。
50%待验证研究团队将 EM-DETR 框架适配到多领域联合学习场景,使其能够在多个领域特定数据集上联合学习,实现跨模态的细粒度、示例驱动检测。
50%待验证在胸部X光片(CXR)的四项关键发现上,该模型的图像级 AUC 分数超过此前 SOTA 1个百分点。
50%待验证在 CXR 和乳腺钼靶上,该模型取得了领先的 mAP50,相比仅在单一数据集上训练的 EM-DETR 高出 2-3 个百分点。
50%待验证EM-DETR 将示例驱动检测思想融入 DETR(Detection Transformer)架构,利用 Transformer 的查询机制实现示例与图像特征的交互。
50%待验证该工作展示了一条利用异构数据构建可扩展基础模型的路径:通过学生-教师策略处理标签空间差异,通过示例驱动检测框架实现跨模态联合学习。
50%