该节点目前有三种模型提供加载,第一种是PowerPaint模型:如下图所示,我们使用PowerPaint模型必须使用1.5的sd大模型,对应需要加载PowerPaint需要的Clip模型,下图功能为图像中去除蒙版区域内容。
第二种是BrushNet用到的random_mask模型,这里我使用SDXL大模型进行实验,下图中使用random_mask模型进行局部修复,从图中可以看出最终修复后的图像并没有严格按照蒙版内容进行填充,比如瓶子明显的低于蒙版的大小,所以该模型主要用于随机选择蒙版进行修复。
第三种是BrushNet用到的segmention模型,从图中可以看出,最终生成的图像严格按照蒙版的区域进行绘制,瓶子完全按照蒙版的大小进行生成,在BrushNet原论文中有提到"segmention模型在插值操作方面可能会引入潜在的不准确性,因为将遮罩调整大小以匹配潜在空间的操作可能会导致潜在的不准确性",也就是说当把蒙版信息通过VAE编码后在潜空间中可能造成蒙版区域并不完美匹配编码前的蒙版,所以可能产生误差。