MediaPipe
Google开源的跨平台机器学习管线工具，提供手部追踪、姿态估计等计算机视觉能力，支持实时识别手掌21个关键节点和人体33个关键点
核心事实
时间轴 (近 90 天)
MediaPipe跨Android、iOS、Web和Python平台，支持模型定制且开源；ML Kit仅支持Android。
该方法的目标是将ARkit/MediaPipe标准的Blendshape应用到动漫风格角色模型上。
RIFT 集成了 MediaPipe 的身体追踪功能。
MediaPipe 返回归一化坐标时，x 除以图像宽度、y 除以图像高度，导致 3:4 竖版照片中脸的高宽比在方形画布上被压缩约 25%；修正方法是将 y 分量缩放回像素等效空间。
学术文献中 FWHR（面部宽高比）在真实物理照片上测量，典型男性值约为 1.85–1.9；在 MediaPipe 归一化关键点空间中该比值会跃升至 2.5 以上，两者不可直接比较。
在浏览器中实现实时摄像头交互通常需要结合 WebGL 或 WebGPU 做实时渲染，用 WebAssembly 运行计算机视觉模型（如 MediaPipe、TensorFlow.js），并通过 WebRTC 处理低延迟传输。
EmbeddingGemma 2 支持的工具链包括 MediaPipe、Transformers.js 加 WebGPU、Ollama、llama.cpp、MLX、LM Studio，微调可参考 Unsloth
Photo Scrubber 基于 Google 的 MediaPipe C++ 库，通过 WebAssembly 编译后在浏览器中运行
SyncNet通过比对视频帧嘴部视觉特征与音频MFCC特征输出唇语同步得分，被广泛用于学术界口型同步基准测试；MediaPipe的FaceMesh模块可每帧追踪468个面部关键点
作者认为口型评分只是粗筛过滤器，12帧样本太小、LLM评分有噪声，更可靠做法应用MediaPipe关键点测量或SyncNet评分
还有 11 条时间轴事件
全部知识事实 (20)
MediaPipe是谷歌开源的机器学习管线框架，其手势识别模块可在普通手机摄像头上以每秒30帧以上速度追踪21个手部关键点，延迟低至几十毫秒
70%已验证MediaPipe是Google开发的跨平台机器学习框架，其人脸检测模块基于BlazeFace轻量级神经网络架构，能输出468个面部关键点坐标
70%已验证MediaPipe是Google开源的跨平台机器学习框架
70%待验证该工具的底层处理逻辑是逐帧读取视频，对每一帧使用MediaPipe进行人脸检测获取边界框坐标，然后将表情包图片缩放叠加到人脸位置
85%待验证人体姿态估计的典型框架包括OpenPose和Google的MediaPipe，用于从视频帧中提取人体关键点坐标
70%待验证Media3 Transformer是一个基于管道架构的媒体转码和编辑框架，AI FX库作为其效果插件，底层依赖MediaPipe或TensorFlow Lite模型进行推理
70%待验证谷歌为端侧AI提供Android NNAPI硬件抽象层和Google AI Edge（原TensorFlow Lite演进）工具集
60%待验证OpenCV默认使用BGR色彩空间而MediaPipe需要RGB输入，如果忘记转换会导致检测失败
60%待验证MediaPipe跨Android、iOS、Web和Python平台，支持模型定制且开源；ML Kit仅支持Android。
50%待验证该方法的目标是将ARkit/MediaPipe标准的Blendshape应用到动漫风格角色模型上。
50%待验证RIFT 集成了 MediaPipe 的身体追踪功能。
50%待验证MediaPipe 返回归一化坐标时，x 除以图像宽度、y 除以图像高度，导致 3:4 竖版照片中脸的高宽比在方形画布上被压缩约 25%；修正方法是将 y 分量缩放回像素等效空间。
50%待验证学术文献中 FWHR（面部宽高比）在真实物理照片上测量，典型男性值约为 1.85–1.9；在 MediaPipe 归一化关键点空间中该比值会跃升至 2.5 以上，两者不可直接比较。
50%待验证在浏览器中实现实时摄像头交互通常需要结合 WebGL 或 WebGPU 做实时渲染，用 WebAssembly 运行计算机视觉模型（如 MediaPipe、TensorFlow.js），并通过 WebRTC 处理低延迟传输。
50%待验证EmbeddingGemma 2 支持的工具链包括 MediaPipe、Transformers.js 加 WebGPU、Ollama、llama.cpp、MLX、LM Studio，微调可参考 Unsloth
50%待验证Photo Scrubber 基于 Google 的 MediaPipe C++ 库，通过 WebAssembly 编译后在浏览器中运行
50%待验证作者认为口型评分只是粗筛过滤器，12帧样本太小、LLM评分有噪声，更可靠做法应用MediaPipe关键点测量或SyncNet评分
50%待验证SyncNet通过比对视频帧嘴部视觉特征与音频MFCC特征输出唇语同步得分，被广泛用于学术界口型同步基准测试；MediaPipe的FaceMesh模块可每帧追踪468个面部关键点
50%待验证姿态估计模型（如MediaPipe或OpenPose）能够识别人体关键节点如肩膀、肘部、膝盖的空间坐标
50%待验证基于InsightFace或MediaPipe的面部检测节点先定位人脸边界框，再对每张脸单独执行img2img重绘，最后融合回原图
50%