ComfyUI-GGUF 插件安装
ComfyUI-GGUF 插件介绍
原生 ComfyUI 模型的 GGUF 量化支持
这目前非常 WIP。这些自定义节点为以 llama.cpp 流行的 GGUF 格式存储的模型文件提供支持。
虽然量化对于常规 UNET 模型 （conv2d） 不可行，但 factor/DiT 模型（例如 flux）似乎受量化的影响较小。这允许在低端 GPU 上以低得多的每权重可变比特率量化运行它。为了进一步节省 VRAM，还包括一个用于加载 T5 文本编码器的量化版本的节点。
ComfyUI-GGUF 官网
GitHub - city96/ComfyUI-GGUF：GGUF 对原生 ComfyUI 模型的量化支持
ComfyUI-GGUF 插件安装
方法一：通过 Git 下载
- 打开 ComfyUI/custom_nodes 文件夹。
- 在地址栏输入 cmd 并回车，打开命令提示符。
- 执行以下命令下载插件：
git clone https://github.com/city96/ComfyUI-GGUF.git- 下载完成后，重启 ComfyUI。
方法二：下载压缩包
- 从插件页面点击 Download ZIP 下载压缩包。
- 解压文件到 ComfyUI/custom_nodes 文件夹。
- 重启 ComfyUI。
方法三：使用 ComfyUI 管理器
打开 ComfyUI 的管理器，进入 节点管理。
- 搜索 "GGUF"，点击安装。
- 安装完成后，重启 ComfyUI。
下载并放置模型文件
前往 Hugging Face 或HF-Mirror其他资源平台，下载所需的 GGUF 模型文件。
将模型文件放置到以下路径：
- UNet 模型：ComfyUI/models/unet
- CLIP 模型：ComfyUI/models/clip
显存建议
- 6GB 显卡：选择 Q2-Q3 模型。
- 8GB 显卡：选择 Q4 模型。
- 10GB 显卡及以上：选择 Q5-Q6 模型。
配置并运行 GGUF 模型
- 在 ComfyUI 的工作流中添加以下节点： UNet Loader GGUF DualClip Loader GGUF
- 确保 DualClip Loader GGUF 节点加载了 CLIP 和 T5-XXL (GGUF) 模型，并将 type 设置为 flux。
- 配置提示词和采样器： 提示词尽量详细，例如：“绿色金字塔积木旁边是红色圆圈积木”。 采样器设置： CFG: 1.0 采样器名: Euler
验证结果
点击 排队提示，生成图像并查看结果。例如，使用 FLUX Q2 和 T5-XXL Q3 模型时，可在 6GB 显存下生成高质量图像。
通过以上步骤，即可在 ComfyUI 中成功运行 GGUF 文件模型！
https://www.syntaxspace.com/article/2509221530464669.html
评论