OpenPose
由卡内基梅隆大学感知计算实验室于2017年提出的开源人体关键点检测框架,基于部位亲和场(PAF)技术,可实时检测多人体关键点,输出身体、手部、面部骨架,广泛用于AI视频可控生成。
核心事实
时间轴 (近 90 天)
DensePose和OpenPose是早期负责提取骨骼关键点的代表性工作
LoRA 方式的姿势控制约束力相对更软、更依赖提示词配合,但无需额外的预处理步骤(如用 OpenPose 提取骨骼图)
DensePose、OpenPose负责姿态估计,Viggle、AnimateAnyone等模型将动作迁移流程端到端整合
当角色身体比例不一致时,基于 OpenPose 骨架的 ControlNet 很难生成理想结果
使用 ControlNet 控制姿态必须先把控制视频转换成 OpenPose 骨架,增加了额外处理时间
OpenPose 能检测人体关键点并以彩色线段图形式表示骨架,其关键点坐标是绝对像素位置
姿态估计模型(如MediaPipe或OpenPose)能够识别人体关键节点如肩膀、肘部、膝盖的空间坐标
MediaPipe采用两阶段检测器,相比需要GPU加速的OpenPose,可在CPU上达到30fps以上
人体姿态估计技术可从二维视频中提取人体三维骨骼运动序列,主流方案包括OpenPose、MediaPipe和MotionBERT
骨骼关键点检测(如OpenPose、MediaPipe、DWPose)通过定位人体17至25个关节点描述整体姿态,是稀疏但语义化的表示方法
全部知识事实 (12)
OpenPose由卡内基梅隆大学感知计算实验室于2017年前后提出,是首个能够实时检测多人体关键点的开源框架
75%待验证姿势识别功能依赖OpenPose等人体姿态估计算法,从参考图中提取18个人体关键点(头、肩、肘、腕、髋、膝、踝等)生成骨骼图
85%待验证DensePose和OpenPose是早期负责提取骨骼关键点的代表性工作
50%待验证LoRA 方式的姿势控制约束力相对更软、更依赖提示词配合,但无需额外的预处理步骤(如用 OpenPose 提取骨骼图)
50%待验证DensePose、OpenPose负责姿态估计,Viggle、AnimateAnyone等模型将动作迁移流程端到端整合
50%待验证使用 ControlNet 控制姿态必须先把控制视频转换成 OpenPose 骨架,增加了额外处理时间
50%待验证当角色身体比例不一致时,基于 OpenPose 骨架的 ControlNet 很难生成理想结果
50%待验证OpenPose 能检测人体关键点并以彩色线段图形式表示骨架,其关键点坐标是绝对像素位置
50%待验证姿态估计模型(如MediaPipe或OpenPose)能够识别人体关键节点如肩膀、肘部、膝盖的空间坐标
50%待验证MediaPipe采用两阶段检测器,相比需要GPU加速的OpenPose,可在CPU上达到30fps以上
50%待验证人体姿态估计技术可从二维视频中提取人体三维骨骼运动序列,主流方案包括OpenPose、MediaPipe和MotionBERT
50%待验证骨骼关键点检测(如OpenPose、MediaPipe、DWPose)通过定位人体17至25个关节点描述整体姿态,是稀疏但语义化的表示方法
50%