PowerPaint

节点功能:该节点将PowerPaint方法加入到模型的扩散过程中,从而完成局部重绘。可以根据function的选项来完成不同的任务,同时需要配合提示词完成扩散过程的引导。

输入参数

参数名称说明
model输入的主模型,一般为UNet结构。数值越高,引导越强,可能会牺牲一致性。数值过低可能看不出效果。初用建议 0.7–1.5之间;
vae用于图像与潜变量之间的转换。
image需要处理的原始图像。
mask指定处理区域的遮罩图像。
powerpaintBrushNet模型权重,用于指引涂抹方向。
clip用于生成prompt的嵌入信息。
positive正向引导条件。
negative负向引导条件。

输出参数

参数名称说明
model加载了 BrushNet patch 的模型。
positive直接返回输入的 positive prompt。
negative直接返回输入的 negative prompt。
latent初始化的空潜变量,形状与条件latent一致。

控件参数

参数名称说明
fitting控制两个prompt嵌入的融合比例。(0.3–1.0),当 fitting = 1.0 时,完全使用 promptA(主要功能的目标提示)。当 fitting = 0.3 时,大量借助 promptB(一般是“上下文”提示)。想更强的功能控制(如只去物体),设高一点。想让结果更自然、环境融合感强,可适当调低。
function功能类型(决定用哪组嵌入提示): - text guided:使用 P_obj 作为正负向 prompt,引导图像按文字修改。 - shape guided:强调 P_shape 结构 + 上下文融合。 - object removal:提醒你添加 "empty scene blur" 来增强去物体效果。 - context aware:提示 "empty scene",用于局部修复时更贴合周围环境。 - image outpainting:提示与去物体类似,用于图像扩展。 注意功能和提示语是否一致,系统不会自动修改你的 prompt 内容,只会提醒你。
scale控制BrushNet引导的强度。
start_at控制引导开始的步数(sampling step)。(0–10000)
end_at控制引导终止的步数。(0–10000)
save_memory控制内存占用的程度:none、auto、max。

下图所示工作流为对原始图像进行扩充,选择image outpainting选项,在扩充前需要对图像进行pad操作,随后通过模型进行画布的扩展。


如下图所示,我们可以选择function为“object removal”来进行画面当中的物体移除,下图中将原始图像中桌子上的苹果等摆盘内容进行了移除。更多的不同选项效果大家可以自行测试。