WanFunControlToVideo

节点功能:WanFunControlToVideo节点是一个用于图像控制引导生成视频的复合条件准备节点,功能比普通的WanImageToVideo更丰富,支持双图引导(起始图 + 控制图)、支持视觉引导(CLIP Vision),非常适合“用图控制生成视频内容”的高级场景。通过该节点可以输入视频的起始帧,并且可以上传控制图像,控制生成视频的帧数,然后生成受控的高质量视频,类似于图像生成中的controlnet。

输入参数

参数名称说明
positive正向提示词。
negative反向提示词。
vae编解码模型。
clip_vision_output图像语义嵌入信息,来自 CLIP 视觉编码器。
start_image起始帧图像序列,用于初始化视频前几帧的状态。
control_video控制视频图像序列,用于指定整体结构、动作或遮罩。

输出参数

参数名称说明
positive包含 control latent 与 clip vision 的正向条件向量。
negative包含相同结构信息的反向条件向量。
latent初始视频 latent 张量。

控件参数

参数名称说明
width视频宽度,单位像素,必须为 16 的倍数。
height视频高度,单位像素,必须为 16 的倍数。
length视频的帧数,表示生成的视频长度,单位为帧。
batch_size一次生成的视频样本数量。

下图为图生视频的深度图控制工作流,首先上传首帧图像,然后上传控制预处理图(工作流以深度图为例),然后输入正向提示词即想生成的内容,设置生成视频的分辨率(会被裁减)以及总帧数,随后进行采样完成视频的输出。