人物一致性--LoRA训练(三)图像高级修复
基于本文方法训练的Lora模型示例:点击查看
资源整合包:点击跳转
视频教程:点击跳转
下图展示的是高清修复工作流。在确定最终方案之前,进行了大量测试与对比,本文将详细梳理测试过程中遇到的各类问题,并分析不同放大插件之间的差异表现。
需要注意的是,不同风格的图像在放大修复时可能会有不同的适配效果。以当前测试结果来看,在 动漫风格图像 中,表现最优的组合为:先使用 StableSR进行去模糊处理,再结合 Flux + Upscaler 进行高质量放大。该方案在细节还原与图像锐度方面均展现出良好效果。
一、 SUPIR图像放大修复
下图展示的是使用 SUPIR 进行高清放大的工作流,配合 SDXL 加速模型以提升处理效率。在修复过程中,提示词设定为 "anime man",用于引导模型对图像进行风格化重建与细节修复,特别适用于动漫风格人物的高清还原。
下图为修复后的效果展示。从结果来看,使用 SUPIR 进行人物图像放大时,模型在处理过程中会主动添加一定的纹理信息(这在真实人物图像中可能更为适配)。然而,对于动漫风格图像而言,这种纹理增强可能产生副作用:
- 人物头发会出现不必要的线条细节;
- 眼睛的瞳孔因纹理叠加,失去了原图中典型的动漫光晕效果,导致整体风格偏离原始设定。
尽管如此,SUPIR 在图像去模糊方面的表现依然出色,提升了整体清晰度和边缘锐度,但在风格保持方面仍需权衡使用场景。
二、FLUX+Ultimate SD Upscaler放大修复
下图为对应的工作流结构。从放大结果来看,原图中的模糊问题并未得到明显改善,可能是由于重绘幅度设置过低所致。然而,当提升重绘幅度以增强去模糊效果时,又可能导致图像出现明显的结构变化,甚至在部分区域产生明显的接缝痕迹,影响整体图像的一致性与观感。因此,在放大与重绘之间需谨慎权衡,避免因重绘强度过高而引发图像失真问题。
下图展示了不同重绘幅度下的图像表现。可以观察到,该方法在放大过程中效果不佳,既未有效去除图像模糊,也未能清晰地处理线条轮廓,导致整体图像质量提升有限。
因此,此方案在当前设置下不推荐使用。不过,不同的图像类型或参数组合可能会产生差异,感兴趣的用户仍可自行测试以寻找更适配的设置。
三、Flux+UPscaler放大修复
下图为Flux+upscaler放大工作流,并使用了Florence进行提示词的反推。
当控制强度设置较低时,模型在放大过程中可能会对图像产生较大改动,导致整体一致性下降。常见问题包括:人物眼睛颜色发生变化,以及图像局部特征出现偏移或风格偏离等情况。而当控制强度提高后,虽然模型更倾向于拟合原图,可能保留部分模糊信息,但图像整体一致性明显增强,能有效避免关键特征丢失。
这一现象也提供了一个有价值的思路:在对图像进行分辨率放大时,通过提升控制强度,可以实现高一致性、低偏差的图像增强效果,适用于对细节还原要求较高的场景。
四、StableSR去模糊,Flux+upscaler放大修复(最优方案)
该方法为最终确定的高清修复方案。正如前文分析所述,高控制强度的 Upscaler 虽能最大限度地保持图像一致性,但由于保留了原图中的模糊信息,往往难以满足数据集对图像清晰度的要求,从而影响后续如 LoRA 训练 等任务的效果。
为解决这一问题,方案中引入了 StableSR 插件,其具备较强的去模糊能力,同时能够在一定程度上保持图像结构一致性。将其与 Flux + Upscaler 组合使用,可有效兼顾图像清晰度与人物一致性控制,从而显著提升生成图像的质量与可用性,成为数据集构建中的优选方案。
下图展示了初步去模糊处理的效果。从右侧结果可以明显看出,StableSR 在几乎不改变原图结构的前提下,有效消除了图像中的马赛克与模糊问题,极大提升了画面清晰度。该处理为后续的高清放大奠定了良好基础。
后续可结合 Flux + Upscaler 的强一致性特性,进一步对图像进行高质量放大,从而在保持人物特征一致性的同时,完成图像细节的增强与修复。该组合方案兼顾去模糊与稳定性,是构建高质量数据集的理想选择。
下图展示了从原图、去模糊处理到高清放大后的完整图像流程。最终结果整体清晰度显著提升,人物细节保留良好,在保持高度一致性的同时完成了有效修复。此外,整体处理耗时较短,可在较短时间内完成二十余张图像的数据集放大与修复,在效率与质量之间取得了良好平衡,适合作为高效稳定的数据增强方案。