IPAdapter

节点功能:该节点用来将IPAdapter模型的效果注入到大模型中去引导扩散。

输入参数

参数名称说明
model主要的图像生成模型(如 SD 1.5 / SDXL 等)。
ipadapterIPAdapter 模型结构,可能包含视觉模型(clip_vision)。
image输入的用于风格参考的图像。
attn_mask引导图像的空间遮罩,决定哪些区域参与融合。

输出参数

参数名称说明
MODEL注入了图像融合控制逻辑的新模型,供后续 KSampler 使用。

控件参数

参数名称说明
weight融合嵌入的强度,默认 1.0,范围为 -1 到 3。
start_at嵌入生效的起始时间点(0~1),默认 0。
end_at嵌入生效的结束时间点(0~1),默认 1。
weight_type权重调节方式,如 constant、linear、step、fade。

embeds_scaling参数不同的选择区别:

  1. 'V only':仅对视觉嵌入(V)进行缩放操作,保持其他嵌入不变。
  2. 'K+V':对键(K)和视觉嵌入(V)进行缩放操作,保持其他嵌入不变。
  3. 'K+V w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,并在缩放过程中对C惩罚,保持其他嵌入不变。
  4. 'K+mean(V) w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,但是在缩放视觉嵌入时使用均值进行,同时对C进行惩罚,保持其他嵌入不变。

注意:如下图所示,使用SDXL的大模型,对weight_type的四种变化方式进行了测试,可以看出权重类型的不同变换方式对最终图像的生成有很大的影响。



注意:如下图所示,对四种不同的嵌入方式进行了一一实验,大家可自行对比择优选择。