MimicMotion GetPoses

节点功能:用于从输入的参考图像和姿势图像中提取关键点信息,生成具有参考图像的姿势图像,并对姿势进行调整(例如身体、面部、手部)。

输入参数

参数名称说明
ref_image输入参考图像,支持单张图像,格式为 (1, H, W, 3)。
pose_images输入待提取姿态的视频帧序列,格式为 (N, H, W, 3)。

输出参数

参数名称说明
poses_with_ref包含参考姿态和帧姿态的图像序列,首帧为 ref_pose,后续为 pose_images 提取的姿态图。
pose_imagespose_images 对应的姿态图序列,首帧已剔除,仅包含被提取的动作帧图像。

控件参数

参数名称说明
include_body是否包含身体关键点。若只关心面部或手部动作可禁用此项,节省计算资源。
include_hand是否包含面部关键点。若希望提取面部细节动作(如说话、转头),请启用。
include_face是否包含手部关键点。若目标不涉及手势,可关闭以加快处理速度。

上面设置include_body为false,姿势图中没有身体部分,下面设置include_hand为false,姿势图中没有手部部分

在这里poses_with_refpose_images的输出看起来是一样的,但其实他们所携带的内部信息是不一样的,poses_with_ref是有姿势信息和源图片信息的,而pose_images只有姿势信息,他们的shape是不一样的。一个返回整个包含参考图像和目标图像的张量,一个是返回去掉第一个图像(即参考图像)的张量,只包含目标图像。