Stable Diffusion XL

SDXL中提出了稳定扩散XL：改进高分辨率图像合成的潜在扩散模型，作者：Dustin Podell，Zion English，Kyle Lacey，Andreas Blattmann，Tim Dockhorn，Jonas Müller，Joe Penna，Robin Rombach

论文摘要如下：

我们提出了SDXL，一种用于文本到图像合成的潜在扩散模型。与以前版本的稳定扩散相比，SDXL 利用了三倍大的 UNet 主干：模型参数的增加主要是由于更多的注意力块和更大的交叉注意力上下文，因为 SDXL 使用第二个文本编码器。我们设计了多种新颖的调节方案，并以多种纵横比训练 SDXL。我们还介绍了一个细化模型，该模型用于使用事后图像到图像技术提高 SDXL 生成的样本的视觉保真度。我们证明，与以前版本的稳定扩散相比，SDXL 显示出显着提高的性能，并取得了与黑盒最先进的图像生成器相比具有竞争力的结果。

技巧

• 稳定扩散XL特别适用于768和1024之间的图像。
• 稳定扩散 XL 可以为训练的每个文本编码器传递不同的提示，如下所示。我们甚至可以将同一提示的不同部分传递给文本编码器。
• 稳定的扩散XL输出图像可以通过使用如下所示的精简器来改善。