MeshGraphormer Hand Refiner With External Detector

节点功能:该节点节点是一个高级的三维感知+目标检测联合预处理器,它结合了两个强大模块:ImpactDetector(目标检测):找出图像中的感兴趣区域(如人脸、手、身体等);MeshGraphormer(3D重建):对这些区域进行三维手部mesh预测,并生成:深度图(Depth Map):表示图中物体与相机的远近关系; 修复掩码(Inpainting Mask):标记出哪些区域需要被“重绘”或“重点处理”。

输入参数

参数名称说明
image输入图像。
bbox_detector用于目标区域检测的 BBox 检测器组件,一般由 Impact Pack 节点生成。

输出参数

参数名称说明
IMAGE每个检测目标区域的深度图结果。
INPAINTING_MASK与深度图对应的掩码(Mask),常用于局部 Inpainting 或条件图生成。

控件参数

参数名称说明
bbox_threshold目标检测的置信度阈值,范围 0.1~1。阈值越高越严格,可能会漏检边缘目标。建议 0.4~0.6 之间调节以兼顾召回率与精度。
bbox_dilationBBox 扩张像素数,可为负数缩小区域。控制目标区域扩大程度,防止裁剪目标不完整。较高数值适用于面部、人物等复杂目标。
bbox_crop_factor每个目标的裁剪区域缩放倍数。越大越可能包含更多背景信息,一般设为 2~4 较为合适,避免仅裁剪到局部边缘。
drop_size过滤面积小于该值的 BBox。移除小目标防止误识别,常用于清理噪点区域。建议 5~20。
mask_bbox_padding掩码区域的边界扩张像素数。控制最终 mask 的边缘模糊程度与容错范围。
mask_type掩码类型选择: • based_on_depth • tight_bboxes • original based_on_depth 使用深度估计结果自动生成掩码,tight_bboxes 使用精确目标框,original 保留原图全范围。根据下游任务选择。
mask_expand掩码向四周扩张的像素数。建议设置 3~10 增加容错范围,允许后续 inpaint 更自然过渡。
rand_seed随机种子控制,影响 mask 模式随机性。保证同一图像输入时 mask 结果一致性,如有需要可设置为固定值(如 42、1234 等)。
resolution推理时使用的图像分辨率(实际不使用 resize,设置为 0 即可),此处值仅占位,已在内部禁用 resize 机制(resolution=0),不会改变图像大小。

如下图所示,该节点通过结合额外的探测模型,完成目标内容的识别,再结合meshgraphormer完成重建并且输出对应区域正确手部的深度图。

可配合inpaint和depth 的controlnet模型,完成图像的手部修复工作。