embeds_scaling参数不同的选择区别:
- 'V only':仅对视觉嵌入(V)进行缩放操作,保持其他嵌入不变。
- 'K+V':对键(K)和视觉嵌入(V)进行缩放操作,保持其他嵌入不变。
- 'K+V w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,并在缩放过程中对C惩罚,保持其他嵌入不变。
- 'K+mean(V) w/ C penalty':对键(K)和视觉嵌入(V)进行缩放操作,但是在缩放视觉嵌入时使用均值进行,同时对C进行惩罚,保持其他嵌入不变。
注意:如下图所示,使用SDXL的大模型,对weight_type的四种变化方式进行了测试,可以看出权重类型的不同变换方式对最终图像的生成有很大的影响。
注意:如下图所示,对四种不同的嵌入方式进行了一一实验,大家可自行对比择优选择。