Tiled Diffusion+Tiled VAE + ControlNet Tile模型，低显存打造AI绘画超高清6K分辨率体验！StableDiffusion扩展插件教程

Tiled Diffusion+Tiled VAE + ControlNet Tile模型，这套组合是目前stablediffusion最好用的放大算法，通过使用Multi Diffusion和Tiled VAE等扩展，可以实现高分辨率放大。这些扩展可以将图像分块处理，提高分辨率并降低显存要求。同时，结合ControlNet Tile模型，还可以实现惊人的细节修饰效果。可以直接把图像生成壁纸级别的图像。下面我们看一下如何操作。

AI绘画的高分辨率挑战

从AI技术诞生的第一天起，人们对高分辨率的追求就没有停止过。然而，显卡性能尤其是显存的限制成为了这条道路上的最大阻碍。在原生的图像生成算法下，直接产出高分辨率的作品是非常困难的。本文介绍了一种高级分辨率放大技巧，可以实现从512像素到6K级别的跨越性飞升。最重要的是，它还能极大地降低显存负担，提高出图效率。优点：效果好、效率高、可控性强

安装使用扩展

在Web UI中安装Multi Diffusion扩展，可以通过搜索”tiled deution”来找到并安装。安装成功后，在图生图界面下方会出现两个可折叠选单，分别是Tile VAE和Tile Diffusion。Tile VAE负责编码，Tile Diffusion负责生成。在操作时，需要同时启用这两个扩展，并与其他放大手法进行对比。

插件介绍

• Tiled这个词直译是”瓷砖、瓦片”等的意思，一般指对于图像、图案的平铺分块处理，而这个扩展的核心就是将图像”Tile”一 也就是区块化处理，
• 这样处理的核心作用不外乎两点，1、提高分辨率。2、降低绘制显存。直接画一张很大的图片，对你的显卡来说可能颇有压力，而这个扩展，就会按照一定的规则将它分割成一个个画起来更加轻松的小块，分别去绘制，再使用巧妙的方式“无缝拼接在一起，并借助亿点点算法来优化整体效果，这样就可以极大地降低A绘制过程中的负担
• 在这个扩展里，diffusion负责扩散，VAE负责编码，在AI生成图像的不同环节上各司其职,因此使用时两者都要启用。
• 和既往的文生图中的高分辨率修复对比，高分辨率修复无法突破显存的上限且绘制速度慢，而SD放大以及进阶的Ultimate Upscale有一些有分区块处理的雏形但可控性差，且绘制速度也偏慢，Tiled Diffusion直接表现出来的优势就是效果好、效率高、可控性强，并且以极其有效的方式优化了显存利用。
  

使用方法

将文生图发送到图生图作为原图，维持包括随机种子参数不变，
点开Tiled VAE和Tiled Diffusion 选择启用。方案选择MUltiDiffusion，其它参数和文生图参数保持一致。

重绘幅度选择低一点，建议0.3

放大算法，这里还是盲选R-ESRGAN 4X+ 二次元选下方Anime6B

方案1：

图生图里设置最终宽高（自己算）取消”保持输入图片大小”.下方”放大倍数”设为1

方案2：

图生图里随意设置宽高勾选”保持输入图片大小”.下方”放大倍数”设为想放大的倍数

注意：

一般情况下不不需要额外设置除非以下两种情况。

tiled VAE

1、显存不够，编码器分块可适当调小。

2、当使用的Tile太小且图片变得灰暗和不清晰时

tiled diffusion：

进一步突破分辨率极限

在显卡性能充裕的情况下，可以使用Tiled Diffusion进一步突破分辨率极限，实现4K甚至6K级别的超高分辨率大图。

• 图像放大的挑战：传统的放大处理方法（如后期处理,即使用Tile diffusion也会生成多头多没用细节情况）无法保持细节水平，需要同时追求高分辨率和匹配的细节水平，把不足100像素的图像提升至4K甚至6K

• 第一步：找一个能生成细节的模型，使用高清修复将图像提升到1080p级别，并建议使用latent系列（在丰富细节上提供更多帮助）放大算法和适当的重绘幅度（不能太低，0.5及以上）。会得到一个非常细节的图像。
  

• 第二步：将图片发送至图生图，开启multi fusion和tile vae进行超级加倍，保持输入大小放大3.2倍，选择适合的放大算法和区块大小。
  
• 其他参数设置：放大算法选 Anime6B,建议降低重绘幅度（0.5）以避免噪声干预图像。潜空间分块宽度放大144.
  

• 噪声反转，不想改变画面结构和人脸，建议开启，但过高重绘幅度会干预图像，所以重绘降到了0.5.（也可以关闭试一下）
  

• 应用潜力：提到了该技术的其他应用，如全景摄影图和清明上河图的绘制，另外文生图中也可以直接使用Tilde diffusion和Tiled VAE. 但效果要弱的多。但如果结合control net的tile模型，进行更精细的放大还原。

  借且助control net使用方法：

  将分辨率低的图像放入controlnet，然后选择启用，选择完美像素模式并勾选上tile，其它都保持默认，操作如下。（如果成图不太像，可增加下方控制权重数值）然后开启Tilde diffusion和Tiled VAE，分辨率升级3倍。开始跑图。
  

总结

Multi Diffusion + Tiled VAE + ControlNet Tile模型是一种强大的高分辨率放大技巧，可以在低显存的情况下实现AI绘画超高清6K分辨率体验。通过合理配置参数，可以获得更好的效果。