MimicMotion Sampler

节点功能:通过调用传入的 mimic_pipeline,结合参考图像和姿态图像,生成相应的运动模仿视频帧/用于解码潜在空间的样本(latent samples),将其转化为图像帧。

输入参数

参数名称说明
mimic_pipelineMimicMotion 模型管线(包含预加载的 pipeline、模型名和数据类型信息)。
ref_image驱动图像,输入参考图,支持批量处理格式 (N, H, W, 3)。
pose_images动作图像序列 (N, H, W, 3),作为动作驱动。推荐输入动作序列图(如 OpenPose 输出),帧数应大于 context_size,保证流畅性。
optional_scheduler自定义调度器(如 DDIM、Euler 等)。

输出参数

参数名称说明
samplesMimicMotion 生成的 latent 视频帧序列(非图像)。

控件参数

参数名称说明
stepsDiffusion 推理步数,数值越大效果越细腻,速度越慢。常用值为 25~50,过低可能模糊,过高显存占用增加,速度变慢。
cfg_min最小提示词引导强度。
cfg_max最大提示词引导强度。
seed随机种子。
fps输出视频的帧率(Frames Per Second)。
noise_aug_strength动作图像的噪声增强强度。
context_size滑动窗口中的帧数。
context_overlap上下文滑动窗口重叠帧数。推荐为 6~12,重叠更多能提升过渡平滑度,但会增加计算量。
keep_model_loaded是否保留模型加载状态。若显存充足建议开启,以避免频繁加载模型。
pose_strength动作控制强度。 越大越严格模仿 pose 动作,适合精确动作匹配场景,推荐 1.0~2.0。
pose_start_percent动作控制开始的进度百分比。0.0 表示从头开始控制动作。
pose_end_percent动作控制结束的进度百分比。1.0 表示整段视频都受动作控制影响。
image_embed_strength图像嵌入强度,控制参考图像在外观风格上的影响力。推荐保持在 1.0~1.5,高于 2.0 时可能出现失真或动作驱动失效。

noise_aug_strength值越大,对源图的变化越大且细节减少,上面作为参照组(默认数值),noise_aug_strength设置为5后,整体基调都变成黄色了,且门框、裤子等细节减少。

pose_start_percent设置为0.5后,视频中的图像真帧过渡不流畅。

image_embed_strength是控制图像嵌入的强度,值越大,受源图片影响更大,如最右边,甚至都要成静态了。