结合Points Editor进行视频的遮罩生成,通过调整正向点的位置(绿色点0,1),追踪视频中想要的部分动作。
通过设置“负向”点判断背景,可以对画面中重复的对象进行反选。
正向点选择手部,会识别画面中所有的手(此时负向点在后面的背景中):
正向点保持不变,负向点放置在右手,只会识别正向点所在的手:
Sam2Segmentation + Sam2VideoSegmentation串联,可进行视频单帧的遮罩一致性保持。
输入参数 | |
sam2_model | 加载 SAM2 模型,可连接 Sam2Loader。 |
coordinates_positive | 用户点击的“正点”坐标(表示要分割的对象区域)。 |
image | 输入视频的第一帧图像(或某一帧),作为分割的参考帧。 |
coordinates_negative | 用户点击的“负点”坐标(表示背景区域,排除的区域)。 |
prev_inference_state | 用于传递上一阶段推理的上下文信息,帮助模型在连续处理(如视频帧)时保持分割结果的一致性和连贯性。 |
输出参数 | |
sam2_model | 当前帧的分割遮罩,可以用于后续处理(如图像合成、视频编辑等)。 |
inference_state | 更新后的推理状态,传递给下一帧使用,确保视频分割的连续性和一致性。 |
控件参数 | |
frame_index | 当前处理的视频帧编号(从 0 开始)。 |
object_index | 当前要分割的对象编号(支持多对象分割,0 表示第一个对象)。 |
结合Points Editor进行视频的遮罩生成,通过调整正向点的位置(绿色点0,1),追踪视频中想要的部分动作。
通过设置“负向”点判断背景,可以对画面中重复的对象进行反选。
正向点选择手部,会识别画面中所有的手(此时负向点在后面的背景中):
正向点保持不变,负向点放置在右手,只会识别正向点所在的手:
Sam2Segmentation + Sam2VideoSegmentation串联,可进行视频单帧的遮罩一致性保持。
可加入知识星球获取所有示例工作流
微信扫码入群,加入AIGC大家庭,与大家一起交流学习