StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

SD入门教程7个月前更新 wanglu852
19,879 0 0
广告也精彩

这期介绍关于TiledDiffusion扩散分块处理,还有ControlNet Tile扩充细节,这两个功能合在一起用的效果。

在WebUI中找到插件

在WebUI中,我们找到插件。安装MultiDiffusion Upscaler之后,我们就可以在前面的选项卡中看到这些东西。一个是TiledDiffusion,一个是TiledVAE。Tiled VAE是用来减少内存占用的,之后就是这篇教程介绍的Tiled Diffusion了。

以下是将Markdown代码形式转化为HTML格式的结果:

TiledDiffusion加载方式

Tiled Diffusion有两种加载方式。介绍之前我们先了解一下这个参数。

潜空间分块宽度
  • 潜空间分块宽度和高度:块的大小长和宽,保特96×96默认即可,
  • 将会对图片分成96×96的小块进行渲染。
潜空间分块重叠:
  • 对于Mixture of Diffusers,可以设置较小的重叠交叉区域。
  • MultiDiffusion参数建议保持48或稍微降低。
潜空间分块单批数量:
  • 默认参数为4。
  • 同时进行渲染工作的小块数量。
噪声反转(Noise Inversion):
  • 目的是找回图片中的结构细节。
  • StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用
    ControlNet中的Tile
    • 帮我们丰富图片中的内容细节。
    • 1、Mixture of Diffusers(渐变过渡方式):
      • Mixture of Diffusers采用一种渐变过渡的方式来实现图像过渡。
      • 在这种模式下,两张图片交接的部分可以设置得较小。这个参数可以根据需求进行调整,以获得理想的过渡效果。
    • 2、MultiDiffusion(混合采样方式):
      • MultiDiffusion采用混合采样的方式来实现图像过渡。

      • 在这种模式下,图片交接的区域可以设置得稍大一些一般保持默认即可。调大可以获得更平滑的过渡效果,但可能会稍微减慢渲染速度。

    总结:
    – Mixture of Diffusers采用渐变过渡方式,可以设置较小的图片交接部分。
    – MultiDiffusion采用混合采样方式,可以设置稍大的图片交接区域,来获得更平滑的过渡效果。

    案例实操

    接下来我做一个案例来简单说明一下。在图生图中我们保持默认参数重绘幅度保持0.75默认参数。图片生成。
    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    我们使用MultiDiffusion分块处理来看一下分块处理和这个有什么区别。这里的放大器是一定要选的,要不然是没有效果的。
    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    生成的图片比较杂乱,很多张图片拼接在一起,不过没有关系。我们使用噪声反转这个功能就可以控制我们画面的结构细节。
    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    现在已经找回了一定的结构,可能是种子的原因没有找回所有的结构。接着我把ControlNet的Tile打开,Tile在一定程度上也可以帮我们找回结构,而且可以丰富画面的内容细节。现在生成的图片就是MultiDiffusion和ControlNet的Tile,使用默认参数相结合所得到的一个图片效果。
    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    噪声反转和Tile相互叠加的关系

    我使用图表的方式来介绍一下噪声反转和Tile相互叠加的关系。刚才的那个种子画面有点杂乱,这张图片更有代表性一点。这里是默认的图生图,这里是分区图生图。分区图生图画面不是很连贯,需要搭配噪声反转和ControlNet的Tile一块使用。我们使用噪声反转控制画面中的结构,然后通过Tile向图中添加细节。在两者的搭配下,我们可以找到比较不错的图片。在噪声反转中还有另外一个参数Renoise Strength,这个参数可以控制细节结构的数量。在Web UI中在这里调节。而噪声反转的步数可以控制细节溢出的程度,像这里的话它已经完全溢出了。再加上Tile中的细节,过多的细节已经开始影响这张照片的观感了。我们要调节合适的参数来生成图片。

    重铺噪声(renoise strength)强度的作用

    接着我举一个例子,在Web UI中说一下重铺噪声强度它到底在起什么作用。在Web UI中我们打开一张图片。这张图片本身是有点模糊的,有点朦胧的感觉。红绘幅度调到0.4,我不想让它偏移太大。打开Tile的Diffusion,打开选择放大器,打开噪声反转,步数放到25左右。再打开ControlNet的Tile。好了,我们生成一张图片。总体我还是比较满意的。接下来我们把重铺噪声强度给它调到0,看一下会出现什么情况。这张照片有一种锐化过度的感觉,而且没有那种朦胧的感觉了。这个应该是重铺噪声强度学习的细节结构过少的原因。
    StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

    照片修复的案例

    下面来看一个照片修复的案例。这张照片现在有点模糊,我们的操作一般是把它先变清晰之后,然后再加一些细节锐度。如果上来就给很高的参数的话,可能会造成一些细节上的扭曲变形。还是跟之前一样,我打开了TiledDiffusion,然后把噪声反转打开,参数放小一点。如果这个时候我们把噪声反转的步数调大的话,因为我们的图片本身就很模糊,会造成很多很奇怪的细节。这里的细节保持为1,保留一定的细节,要不然一会儿什么都没有了。这里还是常规参数,保持默认。我们这张图片的清晰度和细节已经有一定程度的提升了,我们现在把它发送到图声图中。替换这张照片,然后再对它最后进行一个整体上的锐化处理。

    照片放大的例子

    下面我们设置一下参数,缩放器数改为1,改为1以后Tile的Diffusion就不起作用了。我们把它打开是因为我们需要下面的噪声反转,噪声反转步数稍微提高一点,提高到25左右吧。25步会极大的提升一个我们噪声细节,但是这些噪声细节中有很多不需要的部分。我们降低一下Renoising Strength让这些细节变少一点。Ctrl键的Tile还是原来的默认参数,这里重新生成一张。这张照片的修复就完成了,最后再来说一下我们文声图中的照片的一个放大的例子。我们把页面刷新一下,所有的参数都回到默认,选择Counterfeit,填入提示词。把照片改成横构图。发送到图声图中。打开Tile的Diffusion。步数25步。Renoising Strength选择0.5,启用噪声反转。打开Ctrl键的Tile。其他参数都是默认的,重绘幅度是0.75,基本上保留了我们原图的一个结构。

    up:阿滋Azi

    © 版权声明
    chatgpt4.0

    相关文章

    暂无评论

    您必须登录才能参与评论!
    立即登录
    暂无评论...
    error: Content is protected !!