Apply Controlnet with VAE

节点功能:该节点将 ControlNet 的控制图像(如姿势、边缘、深度图)应用到 Stable Diffusion 3 的 prompt 条件编码中,实现更精确的图像生成控制。该节点从flux模型以及sd3模型往后的dit架构模型中,必须链接vae的输入参数,在sdxl和sd1.5中可以不链接。

输入参数

参数名称说明
positive正向文本/语义条件。
negative负向文本/语义条件。
control_net预先加载的 ControlNet 模型实例。
vae与模型匹配的编解码模型。
image条件控制图像(如边缘图、深度图)。

输出参数

参数名称说明
positive注入 ControlNet 条件后的正向条件。
negative注入 ControlNet 条件后的负向条件。

控件参数

参数名称说明
strength控制影响程度,越大越强。默认 1.0。
start_percent控制影响开始时间百分比(0~1)。
end_percent控制影响结束时间百分比(0~1)。

下图为使用canny的示例效果,通过传入预处理图选择跟预处理图对应的controlnet模型即可完成图像的控制生成。除此之外还有很多其他的控制方法,比如depth深度图,或者openpose骨骼图。