SDXL生态及其新特性解析

在直播中，我经常吐槽不建议大家使用SDXL生态，尽管已经推出了Turbo和SDXLLighting等周边工具，我们最喜欢的controlnet功能仍然不完整。今天，我们终于可以介绍长期以来期待的tile模型和隐藏的QRmonsterXL（请小声使用，别人还不知道）。那么，为什么不介绍1.9更新呢？因为并没有太大的改动。

Tile V2的引入和特性

什么是Tile V2？

Tile V2是通过大幅改进的训练数据集和更广泛的训练步骤得到增强的新模型。

Tile V2有哪些改进？

• 自动识别对象：Tile V2现在可以自动识别更广泛的对象，无需显式提示。
• 颜色偏移问题的改进：对颜色偏移问题进行了重大改进。如果仍然看到明显的偏移量，这是正常的，只需添加提示或使用颜色修复节点即可。
• 控制强度：控制强度更强，在某些条件下可以替代canny+openpose。

如何处理边缘光晕问题？

如果遇到t2i或i2i的边缘光晕问题，尤其是i2i，请确保预处理为controlnet图像提供足够的模糊。如果输出过于清晰，可能会导致“光晕”——边缘周围具有高对比度的明显形状。在这种情况下，请在将其发送到控制网之前应用一些模糊处理。如果输出太模糊，这可能是由于预处理过程中过度模糊，或者原始图片可能太小。

SDXL的强大之处

为什么SDXL强大？

1. 参数训练量：0.1参数训练量为101亿，其中BASE模型35亿，REFINER模型66亿，是SD的8倍。
2. 对原有组件的改进：对Stable Diffusion原先的U-Net(XL Base U-Net 一共14个模块)，VAE，CLIP Text Encoder三大件都做了改进，可以明显减少显存占用和计算量。
3. 增加Refiner模型：增加一个单独的基于Latent的Refiner模型，来提升图像的精细化程度。
4. 训练Tricks：设计了很多训练Tricks，包括图像尺寸条件化策略，图像裁剪参数条件化以及多尺度训练等。
5. 版本迭代：先发布Stable Diffusion XL 0.9测试版本，基于用户使用体验和生成图片的情况，针对性增加数据集和使用RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。
6. 采样方法：禁用DDIM，不需要开启CN，随着CN的支持，可以开启CN的XL版本。所有的环境需要都是XL的生态。
7. 高分辨率输出：直接出1024分辨率图片，1024 * 1024起步。

使用Tile模型的注意事项

Tile模型的定位

重要提示：Tile模型不是高档模型！它增强或更改了原始尺寸图像的尺寸，请在使用前记住这一点！

Tile模型的使用

• 在Webui中，只需使用常规的controlnet模型，选择作为tile模型，然后使用tile_resample进行Ultimate Upscale脚本。
• 在comfyui中，只需使用load controlnet模型并应用于控制网络条件。
• 如果在WebUI T2i中使用它，需要适当的提示设置，否则它会显著修改原始图像颜色。

Tile模型的表现

• 它确实对数据集中的图像表现得更好。但是，对于i2i模型来说，一切正常，通常应用终极高档的地方是什么。

总结与感悟

SDXL生态的发展和Tile V2的引入，展示了深度学习和图像生成领域的快速进步。尽管存在一些问题和不足，但SDXL生态的强大功能和改进仍然值得关注。特别是Tile V2的引入，为图像生成提供了更多的可能性和灵活性。作为技术爱好者，我们应该保持开放的心态，积极探索和尝试新技术，同时也要注意其使用的限制和条件。

关键词：SDXL生态, Tile V2, 图像生成, 深度学习, 技术改进