ComfyUI_LayerStyle_Advance

LayerMask: Florence2 Ultra(Advance)

节点功能:基于 Florence-2 视觉基础模型识别并分割图像中的各种物体区域。


LayerMask: Florence2 Ultra(Advance)-节点参数说明
输入参数
florence2_model已加载的 Florence2 模型结构。
image输入图像,支持批量。
输出参数
image带透明背景的 RGBA 图像。
mask灰度遮罩蒙版,代表目标区域掩码。
控件参数
task指定语义分割任务类型。可选: ① region to segmentation 区域分割适合常规区域标注 ② referring expression segmentation 指代表达式分割适合以自然语言描述物体 ③ open vocabulary detection 开放词汇检测可实现广义物体识别。根据需求选择。
text_input用于指导模型的提示文本。
detail_method蒙版细化方法。 VITMatte:基于视觉 Transformer 架构,效果精细但依赖模型文件的边缘细化算法。 VITMatte(local):本地化的 VITMatte,同样精细且在本地运行,对设备要求高。 PyMatting:基于 Python,灵活开源,在复杂场景精细度稍逊的边缘处理算法。 GuidedFilter:轻量级,计算量小,适合在设备性能有限时保留细节的边缘细化算法。 推荐使用 VITMatte(local) 避免联网下载;GuidedFilter 效果简单快速;PyMatting 更柔和;VITMatte 效果最好但依赖大模型。
detail_erode蒙版腐蚀半径,收缩边缘。值越大,遮罩边缘越紧凑。常用范围 4~12。与 detail_dilate 一起控制 trimap 大小。
detail_dilate蒙版膨胀半径,扩展边缘。值越大,遮罩边缘越宽松。通常与腐蚀配合使用。
black_point遮罩黑点值,用于映射最小透明度。建议保留默认值 0.01,调节透明范围时可以适当调整。
white_point遮罩白点值,用于映射最大透明度。默认 0.99,影响 alpha 蒙版的最大亮度。
process_detail是否执行边缘细化处理。建议启用,可获得更高质量的遮罩边缘。若仅用于粗略分割可关闭以提速。
device推理设备选择。可选:cuda、cpu。
max_megapixels用于细化时的最大图像大小(百万像素)。

一般图像的分割只需用基础模型就行

在不更换提示词的情况下,模型一般默认都是对图片中的主体进行分割,整体上base_ft和large_ft表现更好,large_ft分割的更干净精准

  • Region to Segmentation (区域分割):无需文本提示,自动识别图像中的所有可分割对象/区域
  • Referring Expression Segmentation (参考表达式分割): 通过自然语言描述锁定特定目标(如"穿红裙子的女孩")
  • Open Vocabulary Detection (开放词汇检测): 可检测训练数据中未出现的类别(如新兴产品名称)

这里更换了提示词为“upper clothes”,在Region to Segmentation模式下,此时base和large模型表现更好。

更换到Referring Expression Segmentation模式后,各模型的表现情况。

更换到Open Vocabulary Detection模式后,各模型表现情况是一样的。

试过好多种情况,该插件使用的模型分割效果不是很行,对于一般比较分明的单个物体分割还行,场景稍复杂的情况下就不行。语义分割推荐使用SegmentAnythingUltra相关节点。