WanVaceToVideo
节点功能:该节点给模型提供“控制视频 + 蒙版 + 可选参考图”,引导它生成局部变化、风格受控、结构不乱的高质量视频。这个节点主要用于 视频控制生成(Video-controlled generation),适用于:提供一段粗略视频(比如手绘草图)作为结构引导;用 mask 指定视频中哪些地方是可以变化的、哪些地方必须保持;可选提供一张参考图像(reference image),对整体风格或细节进行限定。14B的模型效果是要远高于1.3B的模型效果,但是对电脑显存要求很高,需要达到24G以上的显存。
输入参数
参数名称 | 说明 |
---|---|
positive | 正向提示条件,用于引导生成视频的内容。 |
negative | 反向提示条件,用于抑制不希望出现的特征。 |
vae | 编解码模型。 |
control_video | 控制视频序列,表示原始视频输入或参考帧。用于提供结构引导,长度应与 length 一致;未提供时使用灰色图填充。 |
control_masks | 每帧掩码,表示哪些区域允许变化。掩码值为 1 表示允许变化,0 表示保持原样。支持自动填充;未指定时全部为 1。 |
reference_image | 参考图像,用于视频前部 latent 初始化。用于提供样本风格或内容起点。可提升视频的一致性与语义连贯性。 |
输出参数
参数名称 | 说明 |
---|---|
positive | 带有 vace 控制 latent 和掩码的正向条件。 |
negative | 带有相同结构的反向条件。 |
latent | 初始视频 latent 张量,形状为 [B, 16, T, H//8, W//8]。 |
trim_latent | 参考图像引入的 latent 起始偏移帧数。 |
控件参数
参数名称 | 说明 |
---|---|
width | 视频帧宽度,必须为 16 的倍数,默认 832。 |
height | 视频帧高度,必须为 16 的倍数,默认 480。 |
length | 视频帧数,表示生成视频的时长,默认 81。 |
batch_size | 一次性生成的视频样本数量,默认 1。 |
strength | 控制图像掩码区域变化的强度,默认 1.0。取值越大控制越强,建议范围 0.8~1.5,超过 2 时变化剧烈,低于 1 生成更平滑过渡。 |
下图为测试示例工作流。
一、骨骼图视频转绘。
二、深度图转绘
三、参考重绘
四、视频人物更换
五、物体移除
六、首尾帧视频
七、指定物体增加
八、区域重绘
九、视频扩展