Extract and Save Lora

节点功能:该节点是用于从权重差异(Diff)模型中提取LoRA参数的工具函数,广泛用于LoRA微调后的模型提取流程中,特别适用于在训练后将权重差异保存为标准 LoRA 权重格式,以便后续加载。

输入参数

参数名称说明
model_diff通过 ModelSubtract 节点提取的差分模型。
text_encoder_diff通过 CLIPSubtract 节点提取的文本编码器差分。

控件参数

参数名称说明
filename_prefix保存的文件名前缀,支持子目录路径(如 loras/MyLora)。
rankLoRA 的秩(Rank),决定低秩矩阵近似的表达能力。
lora_type指定 LoRA 的结构类型。
bias_diff是否包含 bias 权重差异信息。启用后保留更多训练细节,通常建议开启。

一些 LoRA 项目会提供:

  • full weights(完全微调) 用于替换原模型;
  • diff weights(只包含变化)可作为 model_diff 提取为 LoRA;
  • LoRA weights(已提取好的) 直接用。


所以该节点用于将训练完成的diff weights模型转换成正式使用的lora模型,但是我找不到相应的diff models去实验,而且现在基本上训练lora结束后都是可以直接使用的。