示例工作流
需要将相关的LLM-gguf模型文件放置在“\ComfyUI\custom_nodes\comfyui_llm_party\model\LLM-GGUF”目录下才能被该节点读取。
| 输出参数 | |
| model | 已加载的 GGUF 模型对象,可与推理/聊天节点配合使用。 |
| 控件参数 | |
| model_path | 指定 GGUF 格式模型文件路径。 |
| max_ctx | 上下文长度(最大可处理的token数)。值越大,能记住的上下文越多,但显存/内存占用更高。 |
| gpu_layers | 指定多少层模型放到 GPU,其余在 CPU 上运行。适合显存有限时进行分配。 |
| n_threads | CPU 推理时的线程数。多核CPU可以提高速度,建议设置为物理核心数。 |
| is_locked | 是否锁定模型: - true:加载一次后保持固定 - false:允许动态切换模型。 |
需要将相关的LLM-gguf模型文件放置在“\ComfyUI\custom_nodes\comfyui_llm_party\model\LLM-GGUF”目录下才能被该节点读取。

可加入知识星球获取所有示例工作流

微信扫码入群,加入AIGC大家庭,与大家一起交流学习