ComfyUI使用Flux模型
ComfyUI是一个强大的用户界面,支持多种图像处理和生成模型,而Flux是一系列由Black Forest Labs开发的扩散模型。
准备工作
1. 下载所需文件
下载地址:
comfyanonymous/flux_text_encoders at main (hf-mirror.com)https://hf-mirror.com/comfyanonymous/flux_text_encoders/tree/mainblack-forest-labs/FLUX.1-schnell at main (hf-mirror.com)https://hf-mirror.com/black-forest-labs/FLUX.1-schnell/tree/mainblack-forest-labs/FLUX.1-dev at main (hf-mirror.com)https://hf-mirror.com/black-forest-labs/FLUX.1-dev/tree/main首先,确保已经下载并准备好以下文件:
- t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors:这些文件用于CLIP模型,放置在ComfyUI/models/clip/目录中。如果RAM超过32GB,推荐使用fp16版本以获得更好的质量。
- VAE:变分自编码器模型文件,放置在ComfyUI/models/vae/目录下。
- Flux Dev 和 Flux Schnell:这些模型权重文件放置在ComfyUI/models/unet/目录下。
2. 解决内存不足问题
如果在运行过程中遇到内存不足的问题,可以尝试以下方法:
- 使用单文件fp8版本,这将减少内存使用量。
- 在“Load Diffusion Model”节点中设置weight_dtype为fp8,这将内存使用量减半,但可能会轻微降低质量。
使用Flux Dev和Flux Schnell
1. Flux Dev
- 将下载的flux1-dev.safetensors文件放入ComfyUI/models/unet/目录中。
- 在ComfyUI中加载或拖拽提供的图像来获取工作流: https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png
2. Flux Schnell
- 将下载的Flux Schnell模型权重文件放入ComfyUI/models/unet/目录中。
- 在ComfyUI中加载或拖拽提供的图像来获取工作流: https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_schnell_example.png
使用FP8 版本
模型下载地址:
Kijai/flux-fp8 at main (hf-mirror.com)https://hf-mirror.com/Kijai/flux-fp8/tree/main
1. Flux Dev
- 下载易于使用的flux1-dev-fp8.safetensors文件,并将其放入ComfyUI/models/unet/目录中。
- 在“Load Diffusion Model”节点中设置weight_dtype为fp8,这将内存使用量减半,但可能会轻微降低质量。
- 在ComfyUI中加载或拖拽提供的图像来获取工作流。
2. Flux Schnell
- 下载Flux Schnell模型权重文件,并将其放入ComfyUI/models/unet/目录中。
- 在“Load Diffusion Model”节点中设置weight_dtype为fp8,这将内存使用量减半,但可能会轻微降低质量。
- 在ComfyUI中加载或拖拽提供的图像来获取工作流。