主流蒙版检测工具及使用

前言

​ 在 ComfyUI 中,蒙版(Mask) 是图像生成流程中非常核心的组成部分,主要用于控制图像的生成区域与保留区域,实现更加精准、可控的编辑与合成。它本质上是一张黑白图,用于告诉模型“哪里需要改变,哪里保持原样”。


主流蒙版检测工具

一、ComfyUI-YoloWorld-EfficientSAM

该工作流首先加载YOLO模型进行物体的检测,如图中紫色框选区域所示,随后使用SAM模型使用 SAM 模型对检测到的目标进行精细分割,结合提示词实现对茶杯主体的准确提取与分割。

该方法生成的蒙版为二值化蒙版,即蒙版边缘为完全的黑白分界,不包含灰度过渡区域,因而边缘较为锐利,适用于结构清晰的局部重绘与对象提取任务。

二、comfyui_segment_anything

该插件共提供了6种不同大小的模型,模型越大效果越好但是占用显存越多,该模型也可以通过输入提示词进行画面物体的分割。

该插件还可以通过在图片上右键选择Open in SAM Detector进行蒙版的检测和编辑。

三、ComfyUI-Inspyrenet-Rembg

该插件仅需一个节点即可自动识别画面的主体进行分割,缺点在于该插件不支持提示词输入进行物体分割,但是分割精确度较高,显存占用较少

四、BiRefNet系列(以ComfyUI_layerstyle插件为例)

下图为该模型的基础用法, 通过BiRefNet模型对物体进行分割,缺点在于不支持提示词输入进行引导,分割效果较为不错,该节点中还带有VITMatte细节增加方法,如果要使用该方法需要下载对应的模型放置在models/vitmatte文件夹下。

五、ComfyUI-Florence2

该插件提供多组模型选择,节点会自动下载模型放置在models\LLM文件夹下,需要保证网络没问题自动下载。该插件的分割效果相较于其他模型稍显逊色,但是功能相对较为齐全。

该模型主要定位为语言模型,可以对图像进行识别并生成提示词,也可以进行物体的分割和识别,如下图根据不同的选项可以调用模型的不同功能

六、ComfyUI-BRIA_AI-RMBG

该插件需要下载模型放置到插件目录对应的位置:custom_nodes\ComfyUI-BRIA_AI-RMBG\RMBG-1.4,该插件也不支持提示词输入进行引导分割,依然是根据画面内容自动识别主体进行分割。

七、根据颜色自动识别蒙版生成

如下,根据颜色进行蒙版的识别

在**controlnet的预处理插件中也可以使用下面的节点生成画面的分割内容,然后根据Color To Mask**节点进行色彩的识别,生成蒙版。

八、通过ComfyUI自带mask编辑功能进行蒙版的生成

在ComfyUI中可以右键图像载入节点,选择Open in MaskEditor进行蒙版的编辑,随后在mask选项后进行蒙版的输出。

九、RGBA图像进行蒙版的输出或加载

有些图片自带Alpha透明通道,可以通过图像加载节点进行蒙版的输出,注意该方式加载的蒙版为除主体以外的蒙版。