comfyui_llm_party
时间:2025/11/03
🖥️LLM-GGUF加载器
该节点用于加载本地GGUF格式的大语言模型(LLM),支持 LLaMA / Qwen / Mistral 等模型的轻量推理。相比简易LLM-GGUF加载器,它需要指定 GGUF 文件绝对路径。
🖥️LLM-GGUF加载器-节点参数说明
| 输出参数 | |
| model | 已加载的 GGUF 模型对象,可与推理/聊天节点配合使用。 |
| 控件参数 | |
| model_path | 指定 GGUF 格式模型文件绝对路径。 |
| max_ctx | 上下文长度(最大可处理的token数)。值越大,能记住的上下文越多,但显存/内存占用更高。 |
| gpu_layers | 指定多少层模型放到 GPU,其余在 CPU 上运行。适合显存有限时进行分配。 |
| n_threads | CPU 推理时的线程数。多核CPU可以提高速度,建议设置为物理核心数。 |
| is_locked | 是否锁定模型: - true:加载一次后保持固定 - false:允许动态切换模型。 |

