RAUNet

节点功能:该节点通过调整模型的内部参数,扩充模型原始生图的局限性,进而可以在单次文生图中完成大分辨率图像的生成,一般情况下,推荐使用默认参数

输入参数

参数名称说明
model一个已有的、可 patch 的模型(如 BrushNet 输出)。

输出参数

参数名称说明
model应用了 RAUNet Patch 的新模型,可用于后续扩散推理。

控件参数

参数名称说明
du_start开始启用 Downsample 优化的步数。
du_end结束 Downsample 优化的步数。
xa_start开始启用 Cross-Attention 缩放的步数。对 cross-attention 的输入张量进行下采样(avg_pool2d),让 attention 操作变得更快、处理更大区域。例:如果设置 xa_start=4,则第 0~3 步 attention 是原始分辨率,第 4 步起开始进行下采样。
xa_end结束 Cross-Attention 缩放的步数。停止缩放 cross-attention,attention 重新回到原始尺寸处理,有利于图像细节逐步恢复。

下图为当前比较SD大模型的不同架构对应的默认使用方式,因为数据集的不同,所以会有各自的文本和图像尺寸设置。

下图为使用RAUNet节点完成图像生成的对比效果,在下面的采样器中,设置的底图尺寸为2048*2048,但是并没有接入RAUNet,所以最终生成的角色因为像素点过多的原因,超出SDXL模型的基础尺寸限制,所以生成的小动物已经畸形,但是使用了RAUNet的效果就正常。