WanVaceToVideo

节点功能:该节点给模型提供“控制视频 + 蒙版 + 可选参考图”,引导它生成局部变化、风格受控、结构不乱的高质量视频。这个节点主要用于 视频控制生成(Video-controlled generation),适用于:提供一段粗略视频(比如手绘草图)作为结构引导;用 mask 指定视频中哪些地方是可以变化的、哪些地方必须保持;可选提供一张参考图像(reference image),对整体风格或细节进行限定。14B的模型效果是要远高于1.3B的模型效果,但是对电脑显存要求很高,需要达到24G以上的显存。

输入参数

参数名称说明
positive正向提示条件,用于引导生成视频的内容。
negative反向提示条件,用于抑制不希望出现的特征。
vae编解码模型。
control_video控制视频序列,表示原始视频输入或参考帧。用于提供结构引导,长度应与 length 一致;未提供时使用灰色图填充。
control_masks每帧掩码,表示哪些区域允许变化。掩码值为 1 表示允许变化,0 表示保持原样。支持自动填充;未指定时全部为 1。
reference_image参考图像,用于视频前部 latent 初始化。用于提供样本风格或内容起点。可提升视频的一致性与语义连贯性。

输出参数

参数名称说明
positive带有 vace 控制 latent 和掩码的正向条件。
negative带有相同结构的反向条件。
latent初始视频 latent 张量,形状为 [B, 16, T, H//8, W//8]。
trim_latent参考图像引入的 latent 起始偏移帧数。

控件参数

参数名称说明
width视频帧宽度,必须为 16 的倍数,默认 832。
height视频帧高度,必须为 16 的倍数,默认 480。
length视频帧数,表示生成视频的时长,默认 81。
batch_size一次性生成的视频样本数量,默认 1。
strength控制图像掩码区域变化的强度,默认 1.0。取值越大控制越强,建议范围 0.8~1.5,超过 2 时变化剧烈,低于 1 生成更平滑过渡。

下图为测试示例工作流。

一、骨骼图视频转绘。


二、深度图转绘

三、参考重绘

四、视频人物更换

五、物体移除

六、首尾帧视频

七、指定物体增加

八、区域重绘

九、视频扩展