comfyui_llm_party>🖥️简易LLM-GGUF加载器
comfyui_llm_party
时间:2025/11/03

🖥️简易LLM-GGUF加载器

该节点用于加载本地GGUF格式的大语言模型(LLM),支持 LLaMA / Qwen / Mistral 等模型的轻量推理。相比普通 LLM 加载器,它只需指定 GGUF 文件路径即可快速启动,特别适合低显存或CPU用户。
🖥️简易LLM-GGUF加载器-节点参数说明
输出参数
model已加载的 GGUF 模型对象,可与推理/聊天节点配合使用。
控件参数
model_path指定 GGUF 格式模型文件路径。
max_ctx上下文长度(最大可处理的token数)。值越大,能记住的上下文越多,但显存/内存占用更高。
gpu_layers指定多少层模型放到 GPU,其余在 CPU 上运行。适合显存有限时进行分配。
n_threadsCPU 推理时的线程数。多核CPU可以提高速度,建议设置为物理核心数。
is_locked是否锁定模型: - true:加载一次后保持固定 - false:允许动态切换模型。

示例工作流

   需要将相关的LLM-gguf模型文件放置在“\ComfyUI\custom_nodes\comfyui_llm_party\model\LLM-GGUF”目录下才能被该节点读取。

广告

可加入知识星球获取所有示例工作流

广告

微信扫码入群,加入AIGC大家庭,与大家一起交流学习