IPAdapter Mad Scientist

节点功能:该节点通过设置不同的权重,用来实验每一层参数对结果的影响。

输入参数

参数名称说明
modelComfyUI 模型对象,一般为 SD1.5/SDXL 等生成模型。
ipadapter加载好的 IPAdapter 模型结构。
image提供引导风格/语义的参考图像。
image_negative负面图像(例如不希望生成的风格),可用于反引导或细化控制。
attn_mask注意力掩码,用于局部区域控制(如只作用于脸部)。
clip_vision替代默认视觉编码器,用于获得更强语义嵌入或兼容特殊模型。
insightface面部识别模型,用于 faceidv2 的处理,增强面部一致性。

输出参数

参数名称说明
MODEL应用了风格引导的 SD 模型,可继续用于生成或合成。

控件参数

参数名称说明
weight权重的应用方式。来自 WEIGHT_TYPES 常量,可能包含 linear, constant, 等。
weight_faceidv2专门针对 FaceID v2 模型的引导强度。
weight_type权重的应用方式。来自 WEIGHT_TYPES 常量,包含 linear、constant 等。
combine_embeds多个嵌入向量的组合方式,如 concat、add、subtract、average、norm average。 concat: 直接拼接所有嵌入。 add: 将多个嵌入向量相加。 subtract: 用于两个嵌入之间的差异。 average: 平均化处理。 norm average: 加权平均后再做归一化。 多图风格融合用 average 较好。 要保留多图独立特征可选 concat。
start_at起始步数,决定在哪个 step 开始启用 IPAdapter,引导过程的控制点,范围为 0.0-1.0。
end_at终止步数,控制在哪个 step 停止使用 IPAdapter,引导强度随步数渐变。
embeds_scaling嵌入向量的缩放方式,如只对 V 进行缩放,或对 KV 进行惩罚性调整等。 V only: 只缩放 Value 向量。 K+V: 缩放 Key 和 Value。 K+V w/ C penalty: 加入惩罚项的 K+V 缩放。 K+mean(V) w/ C penalty: 加权平均 V 后缩放
layer_weights对各层的影响权重(通常是逗号或空格分隔的字符串),支持精细控制每一层的影响力。格式为 "0.1,0.3,0.5,0.8,1.0" 或 "0.1 0.3 0.5"。需要理解模型中哪些层对应哪些语义信息(如底层层感知纹理、上层感知语义),这对调节生成风格非常重要。初学者可以设置空值或只设置简单层权重,如 1.0,再逐步学习控制不同层的影响。

这是我自己的测试结果,大家可以参考。

该节点可以通过参数设置ipadapter模型每一层不同的权重信息,进而去测试每一层对最终图像的影响效果,上图是我自己的测试结果,大家可以借鉴和参考,除此之外每个大模型可能因为本身参数的区别,而导致测试结果存在误差。