Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

SD入门教程5个月前更新 wanglu852
68,088 0 0

Tiled Diffusion+Tiled VAE + ControlNet Tile模型,这套组合是目前stablediffusion最好用的放大算法,通过使用Multi Diffusion和Tiled VAE等扩展,可以实现高分辨率放大。这些扩展可以将图像分块处理,提高分辨率并降低显存要求。同时,结合ControlNet Tile模型,还可以实现惊人的细节修饰效果。可以直接把图像生成壁纸级别的图像。下面我们看一下如何操作。

AI绘画的高分辨率挑战

从AI技术诞生的第一天起,人们对高分辨率的追求就没有停止过。然而,显卡性能尤其是显存的限制成为了这条道路上的最大阻碍。在原生的图像生成算法下,直接产出高分辨率的作品是非常困难的。本文介绍了一种高级分辨率放大技巧,可以实现从512像素到6K级别的跨越性飞升。最重要的是,它还能极大地降低显存负担,提高出图效率。优点:效果好、效率高、可控性强
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

安装使用扩展

在Web UI中安装Multi Diffusion扩展,可以通过搜索”tiled deution”来找到并安装。安装成功后,在图生图界面下方会出现两个可折叠选单,分别是Tile VAE和Tile Diffusion。Tile VAE负责编码,Tile Diffusion负责生成。在操作时,需要同时启用这两个扩展,并与其他放大手法进行对比。
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

插件介绍

  • Tiled这个词直译是”瓷砖、瓦片”等的意思,一般指对于图像、图案的平铺分块处理,而这个扩展的核心就是将图像”Tile”一 也就是区块化处理,
  • 这样处理的核心作用不外乎两点,1、提高分辨率。2、降低绘制显存。直接画一张很大的图片,对你的显卡来说可能颇有压力,而这个扩展,就会按照一定的规则将它分割成一个个画起来更加轻松的小块,分别去绘制,再使用巧妙的方式“无缝拼接在一起,并借助亿点点算法来优化整体效果,这样就可以极大地降低A绘制过程中的负担
  • 在这个扩展里,diffusion负责扩散,VAE负责编码,在AI生成图像的不同环节上各司其职,因此使用时两者都要启用。
  • 和既往的文生图中的高分辨率修复对比,高分辨率修复无法突破显存的上限且绘制速度慢,而SD放大以及进阶的Ultimate Upscale有一些有分区块处理的雏形但可控性差,且绘制速度也偏慢,Tiled Diffusion直接表现出来的优势就是效果好、效率高、可控性强,并且以极其有效的方式优化了显存利用。
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

使用方法

将文生图发送到图生图作为原图,维持包括随机种子参数不变,
点开Tiled VAE和Tiled Diffusion 选择启用。方案选择MUltiDiffusion,其它参数和文生图参数保持一致。
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程
重绘幅度选择低一点,建议0.3
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程
放大算法,这里还是盲选R-ESRGAN 4X+ 二次元选下方Anime6B
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

方案1:

图生图里设置最终宽高(自己算)取消”保持输入图片大小”.下方”放大倍数”设为1
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

方案2:

图生图里随意设置宽高勾选”保持输入图片大小”.下方”放大倍数”设为想放大的倍数
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

注意:

一般情况下不不需要额外设置除非以下两种情况。

tiled VAE

1、显存不够,编码器分块可适当调小。
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程
2、当使用的Tile太小且图片变得灰暗和不清晰时
Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

tiled diffusion:

Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程 Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

进一步突破分辨率极限

在显卡性能充裕的情况下,可以使用Tiled Diffusion进一步突破分辨率极限,实现4K甚至6K级别的超高分辨率大图。

  • 图像放大的挑战:传统的放大处理方法(如后期处理,即使用Tile diffusion也会生成多头多没用细节情况)无法保持细节水平,需要同时追求高分辨率和匹配的细节水平,把不足100像素的图像提升至4K甚至6K

  • 第一步:找一个能生成细节的模型,使用高清修复将图像提升到1080p级别,并建议使用latent系列(在丰富细节上提供更多帮助)放大算法和适当的重绘幅度(不能太低,0.5及以上)。会得到一个非常细节的图像。
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

  • 第二步:将图片发送至图生图,开启multi fusion和tile vae进行超级加倍,保持输入大小放大3.2倍,选择适合的放大算法和区块大小。
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程
  • 其他参数设置:放大算法选 Anime6B,建议降低重绘幅度(0.5)以避免噪声干预图像。潜空间分块宽度放大144.
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程
  • 噪声反转,不想改变画面结构和人脸,建议开启,但过高重绘幅度会干预图像,所以重绘降到了0.5.(也可以关闭试一下)
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

  • 应用潜力:提到了该技术的其他应用,如全景摄影图和清明上河图的绘制,另外文生图中也可以直接使用Tilde diffusion和Tiled VAE. 但效果要弱的多。但如果结合control net的tile模型,进行更精细的放大还原。

    借且助control net使用方法:

    将分辨率低的图像放入controlnet,然后选择启用,选择完美像素模式并勾选上tile,其它都保持默认,操作如下。(如果成图不太像,可增加下方控制权重数值)然后开启Tilde diffusion和Tiled VAE,分辨率升级3倍。开始跑图。
    Tiled Diffusion+Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!StableDiffusion扩展插件教程

总结

Multi Diffusion + Tiled VAE + ControlNet Tile模型是一种强大的高分辨率放大技巧,可以在低显存的情况下实现AI绘画超高清6K分辨率体验。通过合理配置参数,可以获得更好的效果。

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!