参数名称 | 说明 |
---|---|
clip | 文本编码器模型。 |
CLIPAttentionMultiply
节点功能: CLIPAttentionMultiply 节点是一个用于 调节 CLIP 模型中 Self-Attention 权重强度的实验性工具,它通过动态打 patch 的方式,对 CLIP 编码器中的 self-attention 模块中的 Q/K/V/Out 投影权重和偏置施加缩放因子,从而影响文本向量的编码方式与注意力模式。
输入参数
输出参数
参数名称 | 说明 |
---|---|
CLIP | 注入了 Q/K/V/Out 缩放系数的 CLIP 模型。 |
控件参数
参数名称 | 说明 |
---|---|
q | 查询向量 Q 的缩放因子,默认值 1.0。控制每个 token 在 attention 中的提问强度。 |
k | 键向量 K 的缩放因子,默认值 1.0。控制 token 之间匹配信息的密集程度。 |
v | 值向量 V 的缩放因子,默认值 1.0。控制哪些 token 内容传递到 embedding 输出。 |
out | Attention 输出投影的缩放因子,默认值 1.0。控制整体注意力输出到最终 embedding 的影响强度。 |
下图为测试用例,对最终效果改变还比较大,具体大家可自行测试使用场景。