人物一致性--LoRA训练(四)动物IP形象数据集制作

前言

​ 通过骨骼图的方式虽然可以较好地实现真实人物或动漫角色的生成,但对于非人物类的 IP 形象(如动物、拟人化形象等)则存在明显限制。 Redux 模型 在风格保持与一致性方面表现出色,启发了一种新的思路:结合图像融合技术,可高效构建动物类数据集

​ 进一步地,若搭配 FluxFill + Redux 进行图像扩展与内容填充,不仅能够增强图像完整性,还能大幅提升数据集的风格多样性与实用性。因此,本文将系统性地介绍该方法在非人物 IP 数据集制作中的应用流程与操作细节。


基于本文方法训练的Lora模型示例点击查看

资源整合包:点击跳转

视频教程:点击跳转


数据集的生成方式多种多样,若目标是构建动物类 IP 形象,可直接依托 Flux 模型 进行生成。正如 IC-Context-LoRA 所强调的那样,Flux 模型本身具备出色的上下文理解能力,关键在于如何有效调用与引导这种能力。

下图展示的是基础的 Flux 文生图工作流,可通过简洁的提示词快速生成风格统一的 IP 形象,适用于构建初始动物类数据集。(该工作流可通过网盘资源获取

示例提示词:

 A design with multiple perspectives of a cute little raccoon on a pure white background, featuring nine different angles and actions, wearing a large yellow flat topped straw hat, blue big eyes, cute pink tail, rich colors, and accessories.

中文翻译:

一个在纯白背景上展现多个视角的可爱小浣熊设计,包含九种不同的角度与动作,佩戴一顶黄色平顶草帽,拥有蓝色大眼睛和粉红色尾巴,整体色彩丰富,并带有配饰。

如果目标是生成具备一致性的数据集,那么在提示词中加入“多视角 xxx 的设计图”是至关重要的一环。“设计图”这一概念本身就蕴含了统一性与结构性,对于模型而言具有强提示性。因此,建议将该描述置于提示词前部,以提升其权重并增强模型的执行力,从而更准确地引导生成结果。

然而,这种方式通常仅能生成9张图像,对于 LoRA 模型的训练而言显然不够。通常建议的数据集应包含 20 张以上图像,并覆盖多个视角、不同分辨率与多样化表情等要素,以提升训练效果与泛化能力。

因此,下一步可以引入 Redux + FluxFill 的组合,通过图像扩展与填充技术进一步丰富图像数量与细节,在保证风格与角色一致性的同时,有效扩展数据集容量,为 LoRA 训练打下基础。

扩图结果如下图所示,从原始的 3×3 扩展至 5×5,数据集由 9 张图像增至 25 张,同时保持了极高的一致性表现。例如,角色的装饰元素与标志性的粉色尾巴在所有图像中均得以准确还原。经过进一步的图像分割与高清放大后,这批数据即可直接用于 LoRA 模型训练。

若对图像质量有更高要求,也可在此基础上进行后续的图像修复操作,以进一步完善数据集内容。(相关工作流可在网盘中找到,名称为 FluxFill + Redux

在该工作流中,扩图过程不仅依赖 Redux 对原图形象的参考,还需结合提示词对生成进行引导。此时,建议在提示词中加入诸如“一致的形象”等关键词,以增强模型在扩展过程中的风格统一与内容控制能力,从而构建出高质量、一致性强的扩展图像数据集。

此外,还可以基于 Redux 实现图像融合,以制作动物人风格的数据集。具体方法为:将此前生成的人物图像数据集作为融合图的一部分,控制最终图像中的角色结构与分布,再将目标动物形象作为第二输入条件,通过融合过程实现动物人角色的生成。如下图所示,融合效果可较好地保留人物特征与动物形象的结合,构建出具有辨识度与一致性的混合风格角色。

但需注意,初步生成的数据集中,角色的表情变化与脸部朝向可能不够多样。为增强数据多样性,可采用以下方法进行补充:

  • 图像镜像反转:实现视角转换,增加样本覆盖;
  • 多次运行工作流并更换种子:生成更多变体,从中挑选风格与特征高度一致的图像用于数据集构建。

可根据需求进行灵活组合与拓展,用于构建具有高度风格融合且角色一致性良好的动物人训练数据集。(相关工作流可在网盘中找到,名称为 Redux+ duble

在完成数据集的处理与筛选后,可从中挑选约 20 张高质量图像,作为进行 标签标注 的样本。此环节在 LoRA 模型训练中至关重要,直接影响最终模型对特征的理解与表达效果。

关于标签标注的具体操作,B站已有详细的视频教程进行讲解,建议认真学习并熟悉整个流程,以确保训练质量。已完成标注的数据集与对应标签文件,已上传至网盘中的 Dreamoo 放大后的数据集 文件夹,供大家参考和借鉴,用于个人数据集的标注实践。

接下来即进入模型训练阶段。相关的训练工作流与参数设置已整理并上传至网盘,供参考使用。若不希望自行配置插件与环境,可直接下载 “整合包-人物一致性”,即可快速搭建完成 LoRA 模型训练流程。

具体操作细节可参考对应**视频教程**,此处不再赘述。下图展示的是最终训练完成的 LoRA 模型效果,角色名为 “dreamoo”模型已上传至网盘,欢迎下载测试,祝大家创作愉快、玩得开心。