extra_nodes>CLIPAttentionMultiply
extra_nodes
时间:2025/06/28

CLIPAttentionMultiply

节点功能: CLIPAttentionMultiply 节点是一个用于 调节 CLIP 模型中 Self-Attention 权重强度的实验性工具,它通过动态打 patch 的方式,对 CLIP 编码器中的 self-attention 模块中的 Q/K/V/Out 投影权重和偏置施加缩放因子,从而影响文本向量的编码方式与注意力模式。
CLIPAttentionMultiply-节点参数说明
输入参数
clip文本编码器模型。
输出参数
CLIP注入了 Q/K/V/Out 缩放系数的 CLIP 模型。
控件参数
q查询向量 Q 的缩放因子,默认值 1.0。控制每个 token 在 attention 中的提问强度。
k键向量 K 的缩放因子,默认值 1.0。控制 token 之间匹配信息的密集程度。
v值向量 V 的缩放因子,默认值 1.0。控制哪些 token 内容传递到 embedding 输出。
outAttention 输出投影的缩放因子,默认值 1.0。控制整体注意力输出到最终 embedding 的影响强度。

下图为测试用例,对最终效果改变还比较大,具体大家可自行测试使用场景。

广告

可加入知识星球获取所有示例工作流

广告

微信扫码入群,加入AIGC大家庭,与大家一起交流学习