IPAdapter FaceID

节点功能:该节点是用来识别人物的脸部,然后控制生成的图像跟参考图像的脸部相似,类似的还有IPAdapter FaceID Batch节点可以批量的输入参考图像。

输入参数

参数名称说明
model用于图像生成的核心模型(如 Stable Diffusion)。
ipadapterIPAdapter 模型对象或包含子模块(如 clipvision)的结构体。
image含有人脸的图像,用于提取风格与人脸嵌入。
image_negative负向图像,用于抵消某些风格(如去除油画感)。
attn_mask限定特征注入范围(如只在人脸区域生效)。
clip_vision自定义的 CLIP 图像编码器。
insightface提供人脸特征提取的 InsightFace 模型。

输出参数

参数名称说明
MODEL注入人脸特征后的新模型,可用于后续生成流程。
face_image从输入图中提取出的人脸区域图像,用于调试或可视化。

控件参数

参数名称说明
weightIPAdapter 风格嵌入的注入强度,范围 -1~3,默认 1.0。
weight_faceidv2FaceID(人脸特征)嵌入的注入强度,范围 -1~5,默认 1.0。
weight_type权重随时间变化策略,如 constant、linear、step 等。
combine_embeds多嵌入合并方式,如 concat、add、average 等。
start_at嵌入开始作用的归一化时间点,0.0~1.0,默认 0.0。
end_at嵌入结束作用的归一化时间点,0.0~1.0,默认 1.0。
embeds_scaling嵌入缩放策略,控制 Attention 的影响范围: - V only:仅缩放 V - K+V:同时缩放 Key 与 Value - K+V w/ C penalty:加入通道惩罚项 - K+mean(V) w/ C penalty:引入 V 的均值惩罚项。 推荐: K+V 在表现更复杂风格时更稳定; K+V w/ C penalty 可以防止通道过拟合。

注意:如下图所示,使用faceID之前,对图片要进行预处理,处理成为224*224的正方形才能提供给视觉编码模型,还有就是加入传入的图像不是正方形,裁剪后给到的视觉图像会经过处理,如果在原始图像中画蒙版,那么蒙版区域与处理后的图像并不贴合,所以会导致生成的图像并不像原图。



注意:如下图所示ipadapter faceID batch节点可以同时批量处理图像,对原始图像进行裁剪后,组合成一个批量,然后传入该节点,设置latent为2,最终生成参考两个人的面部分别生成两个图像。