comfyui_llm_party
时间:2025/11/03
🖥️VLM-GGUF加载器
该节点用于加载基于 GGUF 格式的多模态大模型(VLM),例如 MiniCPM-V 系列、其他已转换为 GGUF 的视觉语言模型。
它能够在 CPU 或 GPU 上运行,适合轻量化推理或低显存环境。
🖥️VLM-GGUF加载器-节点参数说明
| 输出参数 | |
| model | 已加载的 GGUF 模型对象,可用于后续推理。 |
| 控件参数 | |
| ckpt_path | GGUF 格式的主模型文件路径。 |
| clip_path | GGUF 格式的投影模型文件路径。 |
| max_ctx | 最大上下文长度(即模型能处理的最大 token 数),例如 512。值越大显存占用越高。 |
| gpu_layers | 设置有多少层计算放在 GPU 上执行,其余在 CPU 上。数值越大推理越快,但显存占用越高。 |
| n_threads | CPU 推理时的线程数,推荐与本机 CPU 核心数相同或稍低。 |
| chat_format | 聊天格式,需与模型兼容。 |
| is_locked | 是否锁定模型,true 表示加载一次后保持不变,避免重复加载。 |

