MeshGraphormer Hand Refiner

节点功能:该节点是一个高级预处理工具。先用 MediaPipe 识别图像中的手部位置;然后用 Graphormer 模型将手部还原成三维模型(就像用 AI 把照片里的手建成立体网格);再用光线投射的方法把这个 3D 模型“拍照”成一张深度图,表示每个手部像素离相机有多远;同时它还会生成一个掩码图,标出图像中哪些区域是手。

输入参数

参数名称说明
image输入图像。

输出参数

参数名称说明
IMAGE深度图像,范围为 [0~1],用于表示每个像素的深度信息。
INPAINTING_MASK掩码图像,范围为 [0~1],表示需要修复的区域(如手部等),可直接接入 inpaint 模型。

控件参数

参数名称说明
mask_bbox_padding掩码边框扩展像素数。控制 tight_bboxes 模式下掩码的边缘额外扩展范围,防止遮罩过紧切割手部。
resolution检测处理分辨率(图像边长)。推荐为 512 或 768,以兼顾处理速度与识别精度。
mask_type掩码生成方式。
mask_expand对掩码区域扩展的像素。扩展输出掩码范围,防止修复边缘出现断裂。值越大掩码越宽松,适合 inpaint。
rand_seed随机种子。
detect_thr识别置信度阈值。置信度小于该值的人体部位将被忽略,值越高识别越严格。推荐在 0.5 ~ 0.8 之间调整。
presence_thr存在性判断阈值。主要用于判断是否存在可识别部位(如手、头等),用于配合 detect_thr 进行二重过滤。

如下图所示,通过该节点可以识别出画面中人物手部所处的位置,随后输出该区域可以合适的正确手部深度图。

如下图所示,结合inpaint和depth的controlnet模型,可以完成在局部重绘的过程中加入正确手部的深度图去控制完成图像生成,最终完成任务的手部修复。