comfyui_llm_party>🖥️VLM-GGUF加载器
comfyui_llm_party
时间:2025/11/03

🖥️VLM-GGUF加载器

该节点用于加载基于 GGUF 格式的多模态大模型(VLM),例如 MiniCPM-V 系列、其他已转换为 GGUF 的视觉语言模型。 它能够在 CPU 或 GPU 上运行,适合轻量化推理或低显存环境。
🖥️VLM-GGUF加载器-节点参数说明
输出参数
model已加载的 GGUF 模型对象,可用于后续推理。
控件参数
ckpt_pathGGUF 格式的主模型文件路径。
clip_pathGGUF 格式的投影模型文件路径。
max_ctx最大上下文长度(即模型能处理的最大 token 数),例如 512。值越大显存占用越高。
gpu_layers设置有多少层计算放在 GPU 上执行,其余在 CPU 上。数值越大推理越快,但显存占用越高。
n_threadsCPU 推理时的线程数,推荐与本机 CPU 核心数相同或稍低。
chat_format聊天格式,需与模型兼容。
is_locked是否锁定模型,true 表示加载一次后保持不变,避免重复加载。

示例工作流

广告

可加入知识星球获取所有示例工作流

广告

微信扫码入群,加入AIGC大家庭,与大家一起交流学习