全面解析Flux模型：从发布背景到使用指南

Flux模型是什么？为什么它如此重要？

Flux是由前Stable Diffusion团队核心成员在离开Stability AI后成立的黑森林实验室所推出的最新一代生图大模型。该模型拥有12B参数，被誉为真正的SD3，并自发布以来迅速引起了广泛关注。

在本篇文章中，我将带大家深入了解Flux模型的发布背景、核心技术以及详细的使用方法。如果你是一位图像生成模型的爱好者或从业者，这篇文章将为你提供全面的信息和实用的操作指南。

黑森林团队和Stable Diffusion的渊源是什么？

什么是特修斯之船？

特修斯之船是一个哲学问题：如果一艘船的所有木头都被逐渐替换，直到没有一块是原来的木头，那这艘船还是原来的那艘船吗？这个问题非常契合Stability AI和黑森林实验室的关系。核心成员从Stability AI离职，成立了新团队，但他们的工作和理念却一脉相承。

黑森林实验室的时间线

• 2021年12月20日：Robin Rombok与其他科学家发表了关于Stable Diffusion核心理论的论文，这些研究构成了后来的Stable Diffusion模型。
• 2022年8月10日：Stable Diffusion正式上线，Robin Rombok和Patrick Asser被明确为项目负责人，他们后来都加入了黑森林实验室。
• 2023年3月18日：Robin Rombok在离职前发表了最后一篇论文，探讨了如何实现SD3 Turbo，这与现今的Flux模型有着直接关联。

Flux模型的发布与技术背景

2023年8月1日，黑森林实验室发布了Flux系列模型。该模型的核心技术包括多模态和并行扩散、变压器块的混合架构，规模高达120亿参数，使用了Flow Matching、Rotating Positional Embeddings与并行注意层等技术。

Flux模型有几种类型？应该如何选择？

​​

三款Flux模型的特点

• Pro版本：最顶级的模型，具有强大的性能和高细节的图像生成能力，但并未开源，仅通过API和特定云服务商访问。
• Dev版本：开源模型，适合本地部署，性能较好，但仅限非商业用途。
• SChanel版本：开源且支持商业用途，主打速度，但生成效果稍逊于Dev版本。

各版本的安装与使用

如何安装官方版本的Flux模型？

1. 下载Flux模型、CLIP、VAE等必要文件.​

   ​​

2. 将模型文件放置于unet​目录，CLIP放在clip​目录，VAE放在vae​目录。​
3. 确保显卡性能足够，如4090显卡，推荐使用bf16版本以获得最佳效果。

社区版本如何选择？

​​

• Confi Organization版本：三合一大模型，适合磁盘空间大的用户。
• KIJAI版本：与官方一致，但体积更小，适合硬件配置较低的用户。​

如何使用Flux模型生成高质量图像？

文生图的基本操作

1. 设置参数：如使用Comfy Org版本，调整CFG值和提示词。
2. 加载模型：使用load checkpoint​节点选择模型，确保配置文件正确连接。
3. 生成图像：通过简单的提示词输入和种子值设定生成图像。

具体参数的详细解释

• Flux Guidance：建议设置为3.5左右，适合大部分场景。
• 采样方法：推荐使用Euler A​、DPM++​等，以确保图像质量。

Flux对不同分辨率的支持

Flux模型对分辨率的支持非常灵活，不拘泥于传统的1024×1024格式，可以自由调整宽高比来生成不同尺寸的图片。

Flux模型的进阶应用

提示词的理解与复杂场景生成

Flux模型在提示词的理解方面表现出色，可以直接生成带有文字的图像、复杂场景甚至报纸排版等。

换脸与局部重绘的实现

通过Face Detailer插件可以轻松修复图像的面部细节，甚至实现图像中的换脸操作。

图生图的风格迁移

Flux支持多种风格转换，如将真人照片转换为动漫风格，通过简单的提示词输入就可以实现。

开源社区对Flux模型的支持进展如何？

社区贡献

目前，开源社区对Flux模型的支持非常积极，Comfy UI团队等已经发布了多个基于Flux模型的版本。未来，我们可能会看到更多配套的插件和工具发布。

Flux模型未来的展望

Flux有望成为开源文生图大模型的首选，其强大的图像生成能力和广泛的社区支持将推动它在未来获得更广泛的应用。

总结与感悟

我认为：Flux模型的发布标志着图像生成技术的又一次飞跃。它不仅继承了Stable Diffusion的优势，更在多模态融合和提示词理解能力上达到了新的高度。随着开源社区的支持不断增强，Flux模型很可能会成为图像生成领域的新标准。

原文链接：最全面最详细的Flux使用说明书：30分钟学会Flux的一切_哔哩哔哩_bilibili

Flux模型：

黑森林版schnell模型: https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

黑森林版dev模型：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

Comfy Org版dev模型: https://huggingface.co/Comfy-Org/flux1-dev/tree/main

Comfy Org版schnell模型： https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

Kijia版dev模型及schnell模型：https://huggingface.co/Kijai/flux-fp8/tree/main

涉及到的插件： https://github.com/kijai/ComfyUI-KJNodes

https://github.com/ltdrdata/ComfyUI-Impact-Pack

工作流及模型：https://pan.quark.cn/s/cf3dbed25c38