Flux Controlnet模型安装使用

Flux ControlNet 模型 提供了两种使用方式：完整模型 和 LoRA 微调模型。推荐优先使用 LoRA 模型，因为它体积小、加载快，且可以直接在已有的 Flux 主模型上运行，无需额外下载完整模型，部署更轻便，使用更高效。

视频教程：点击跳转

---

模型下载

完整版模型下载

• Flux Depth深度控制模型：点击下载

• Flux Canny边缘控制模型: 点击下载

下载后放置ComfyUI/models/unet文件夹

另外还需下载clip和vae模型，可到本系列第一篇文章查看下载。

LoRA版本模型下载

1. 首先要下载flux主模型，可按照本系列第一篇文章下载原始版/kijai Flux.1版本，以及相应的clip和vae模型。

2. lora模型下载

   • Depth LoRA：点击下载
   • Canny LoRA：点击下载

   下载后放置ComfyUI/models/loras文件夹。

Flux Canny示例

在ComfyUI中，自带Flux Canny示例

这里以LoRA版本作为示例。这里和ComfyUI自带工作流不同的是，这里新增加了一个LoraLoaderModelOnly节点。

1. 如果是使用完整版本，则不需要加载lora，使用官方默认工作流即可，Load Diffusion Model节点中则加载完整版的flux controlnet模型，
2. 如果要是有Lora版本，则需要加载lora，Load Diffusion Model节点中则加载flux主模型，也就是原始版/kijai Flux.1版本。

Flux Depth示例

使用方法和上面Flux Canny一样。但是官方示例默认你加载的就是深度图，如果你是加载的原图，需要经过如下处理，对原图提取深度图。

FLu Union ControlNet

Flux Union ControlNet 是一款功能全面的 ControlNet 模型，支持多种常见的图像控制模式，包括 Canny 边缘检测、Tile 图块控制、深度图（Depth）、模糊（Blur） 以及 姿势控制（Pose） 等。它将多种控制能力集于一体，为用户提供了更灵活、高效的图像生成与编辑手段，特别适合在复杂场景中实现精准控制和创意表达。

模型下载：

• 官方版FLUX.1-dev-ControlNet-Union-Pro-2.0：点击下载

• fp8量化版（更低显存）：点击下载

下载完后最好重命名为FLUX.1-dev-ControlNet-Union-Pro-2.0.safetensors，fp8版则重命名为FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8.safetensors，模型放置ComfyUI/models/controlnet文件夹

flux depth

在SetUnionControlNetType节点中需要根据输入的图片设置相应的类型，如果不知道输入的图片是什么类型，设置auto即可。

flux canny

flux openpose