Florence-2-Large
微软推出的视觉基础模型,采用序列到序列Transformer架构,通过提示词切换实现图像描述、目标检测、区域定位、分割等多任务统一处理
时间轴 (近 90 天)
Florence-2-Large 是一个视觉基础模型,采用序列到序列的 Transformer 结构,接收图像与文本提示输入并输出文本形式的任务结果。
Florence-2-Large 训练于 FLD-5B 数据集,该数据集覆盖 1.26 亿张图像、包含 54 亿条视觉标注。
Florence-2-Large 支持图像描述、目标检测、区域描述、视觉定位、分割提示生成等多任务,通过切换 task_input 参数调用,无需为每个任务单独微调。
Florence-2-Large 的坐标、多边形等结构化输出需序列化为字符串,下游使用前必须做解析转换,并需为格式异常准备容错处理。
Florence-2-Large 在小目标与细粒度任务(如工业质检微小缺陷、小号印刷文字)上表现受限,可能出现漏检或描述含糊。
Florence-2-Large 的能力受限于 FLD-5B 标注阶段训练过的提示词类型,与训练数据差异过大的垂直新任务可能产生幻觉或泛泛描述。
与同架构的 florence-2-base 相比,Florence-2-Large 参数量更多、复杂场景与细粒度任务准确率更高,但 base 版本推理快 15%–20%、内存占用更低。
与 kosmos-2 相比,后者以视觉-语言对齐为核心,开放式推理和空间关系问答更强;Florence-2-Large 在批量标注任务上更高效且支持更结构化的输出格式。
与 internvl3_5-30b 相比,后者语言理解与推理能力更广但更慢、更吃算力;高吞吐标注流水线和单任务视觉负载更适合 Florence-2-Large。
realistic-vision-v4.0 是图像生成模型,与 Florence-2-Large 功能相反、互为补充。
还有 3 条时间轴事件
全部知识事实 (13)
Florence-2-Large 是一个视觉基础模型,采用序列到序列的 Transformer 结构,接收图像与文本提示输入并输出文本形式的任务结果。
50%待验证Florence-2-Large 训练于 FLD-5B 数据集,该数据集覆盖 1.26 亿张图像、包含 54 亿条视觉标注。
50%待验证Florence-2-Large 支持图像描述、目标检测、区域描述、视觉定位、分割提示生成等多任务,通过切换 task_input 参数调用,无需为每个任务单独微调。
50%待验证Florence-2-Large 的坐标、多边形等结构化输出需序列化为字符串,下游使用前必须做解析转换,并需为格式异常准备容错处理。
50%待验证Florence-2-Large 在小目标与细粒度任务(如工业质检微小缺陷、小号印刷文字)上表现受限,可能出现漏检或描述含糊。
50%待验证Florence-2-Large 的能力受限于 FLD-5B 标注阶段训练过的提示词类型,与训练数据差异过大的垂直新任务可能产生幻觉或泛泛描述。
50%待验证与同架构的 florence-2-base 相比,Florence-2-Large 参数量更多、复杂场景与细粒度任务准确率更高,但 base 版本推理快 15%–20%、内存占用更低。
50%待验证与 kosmos-2 相比,后者以视觉-语言对齐为核心,开放式推理和空间关系问答更强;Florence-2-Large 在批量标注任务上更高效且支持更结构化的输出格式。
50%待验证与 internvl3_5-30b 相比,后者语言理解与推理能力更广但更慢、更吃算力;高吞吐标注流水线和单任务视觉负载更适合 Florence-2-Large。
50%待验证realistic-vision-v4.0 是图像生成模型,与 Florence-2-Large 功能相反、互为补充。
50%待验证Replicate 上的 Florence-2-Large 实现接收 URI 格式图像、task_input 枚举和可选 text_input 三类输入,输出包含 text 与可选 img(渲染边界框或分割掩码的可视化图)。
50%待验证task_input 取值是模型训练时定义的任务提示词词表中的固定枚举(如 <CAPTION>、<OD>、<CAPTION_TO_PHRASE_GROUNDING> 等),选错或自造任务名不会报错,模型只会退化为泛泛的描述输出。
50%待验证模型文件为 Hugging Face 格式,通过 Cog 在 Replicate 基础设施上运行。
50%