VAE Encode & Inpaint Conditioning

节点功能:这个节点是ComfyUI原始库中vae encode(for inpainting)的替代方案,并且比原始的inpaint更有效果,它与同时使用VAE Encode(用于 Inpainting)和InpaintModelConditioning相同,但是对硬件资源的消耗更少。

输入参数

参数名称说明
positive正向提示词的文本编码(一般来源于文本编码器)。
negative负向提示词的文本编码,用于去除不希望生成的内容。
vae用于将图像编码为 latent 表示的变分自编码器。
pixels输入图像(通常是用户原图或带有遮罩的修复图)。
mask修复遮罩图,值为 1 的区域表示需要修复。

输出参数

参数名称说明
positive编码后包含 inpaint 附加信息的正向文本条件。
negative编码后包含 inpaint 附加信息的负向文本条件。
latent_inpaint用于 inpaint 的图像 latent 表示和 noise_mask。一个字典,包含: samples: concat_latent_image,结合原图 + mask 用于条件采样; noise_mask: 二值掩码,指明在哪些区域注入噪声(即修复区域)。
latent_samples原始 VAE 编码后的图像 latent 表示,用于采样。未加掩码信息,可直接作为图像输入。

注意:如下图所示,使用SDXL的大模型,演示了该节点的使用方法,重点在于latent_inpaint,latent_samples两个地方的连接方式,其次就是要对原图进行蒙版绘制,以此来控制扩散区域。


上面两个图像分别是latent_inpaint和latent_samples的解码后的图像内容,latent_inpaint需要传递给Apply Fooocus Inpaint节点用来将模型转换为inpaint模型,在github地址可以看到作者说"这不允许遮罩区域中存在现有内容",所以说需要对蒙版区域进行内容遮盖,否则会导致生图受原图内容的影响,latent_samples将用于传递给ksampler完成局部重绘保证边缘的融合程度。