参数名称 | 说明 |
---|---|
model_diff | 通过 ModelSubtract 节点提取的差分模型。 |
text_encoder_diff | 通过 CLIPSubtract 节点提取的文本编码器差分。 |
Extract and Save Lora
节点功能:该节点是用于从权重差异(Diff)模型中提取LoRA参数的工具函数,广泛用于LoRA微调后的模型提取流程中,特别适用于在训练后将权重差异保存为标准 LoRA 权重格式,以便后续加载。
输入参数
控件参数
参数名称 | 说明 |
---|---|
filename_prefix | 保存的文件名前缀,支持子目录路径(如 loras/MyLora)。 |
rank | LoRA 的秩(Rank),决定低秩矩阵近似的表达能力。 |
lora_type | 指定 LoRA 的结构类型。 |
bias_diff | 是否包含 bias 权重差异信息。启用后保留更多训练细节,通常建议开启。 |
一些 LoRA 项目会提供:
- full weights(完全微调) 用于替换原模型;
- diff weights(只包含变化)可作为 model_diff 提取为 LoRA;
- LoRA weights(已提取好的) 直接用。
所以该节点用于将训练完成的diff weights模型转换成正式使用的lora模型,但是我找不到相应的diff models去实验,而且现在基本上训练lora结束后都是可以直接使用的。