Qwen-image模型安装与使用>Qwen-image ControlNet

Qwen-image ControlNet

在 Qwen-Image 的生态中,ControlNet 主要有三种控制方式:一是 LoRA 控制,以轻量低秩矩阵挂载在注意力或 MLP 层,特点是小巧高效;二是 model_patcher 控制,通过前向打补丁在网络路径中动态插入控制算子,兼顾精度与适配性;三是 经典 ControlNet 控制,采用独立条件分支,支持多条件叠加,具备最强的稳定性和精确度。

一、InstantX/Qwen-Image-ControlNet-Union

1.1 模型下载

仓库地址: https://huggingface.co/InstantX/Qwen-Image-ControlNet-Union/tree/main

该模型支持Qwen-Image的 4 种常见控制类型(canny、soft edge、depth、pose)。可以像使用普通的ControlNet网络一样使用它。

下载后可以重命名放入ComfyUI/models/controlnet文件夹

1.2 示例

可以设置不同的controlnet type来控制出图,controlnet权重可在0.5~1.0之间调节。

二、Qwen Image ControlNet DiffSynth-ControlNets Model Patches

2.1 模型下载

该模型实际上并不是一个controlnet,而是一个模型补丁,支持 canny、depth、inpaint 三种不同的控制模式。

下载模型后保存到 ComfyUI/models/model_patches 文件夹中。

2.2 示例

使用上述模型还需要使用QwenImageDiffsynthControlnet节点,需要将ComfyUI更新到最新版本才会有该节点。

2.2.1 Canny

2.2.2 Depth

2.2.2 Inpaint

如下,把手枪换成了棒棒糖

三、qwen_image_union_diffsynth_lora

3.1 模型下载

该模型以lora加载的方式,记载Qwen-image后面,起到ControlNet的控制作用。点击下载

下载后放入ComfyUI/models/loras文件夹

3.2 示例

广告

可加入知识星球获取所有示例工作流

广告

微信扫码入群,加入AIGC大家庭,与大家一起交流学习