StableDiffusion的TiledDiffusion、噪声反转和ControlNet Tile扩充细节在老照片放大修复的应用

这期介绍关于TiledDiffusion扩散分块处理，还有ControlNet Tile扩充细节，这两个功能合在一起用的效果。

在WebUI中找到插件

在WebUI中，我们找到插件。安装MultiDiffusion Upscaler之后，我们就可以在前面的选项卡中看到这些东西。一个是TiledDiffusion，一个是TiledVAE。Tiled VAE是用来减少内存占用的，之后就是这篇教程介绍的Tiled Diffusion了。

以下是将Markdown代码形式转化为HTML格式的结果：

TiledDiffusion加载方式

Tiled Diffusion有两种加载方式。介绍之前我们先了解一下这个参数。

潜空间分块宽度

• 潜空间分块宽度和高度：块的大小长和宽，保特96×96默认即可，
• 将会对图片分成96×96的小块进行渲染。

潜空间分块重叠：

• 对于Mixture of Diffusers,可以设置较小的重叠交叉区域。
• MultiDiffusion参数建议保持48或稍微降低。

潜空间分块单批数量：

• 默认参数为4。
• 同时进行渲染工作的小块数量。

噪声反转(Noise Inversion):

目的是找回图片中的结构细节。

ControlNet中的Tile

• 帮我们丰富图片中的内容细节。

• 1、Mixture of Diffusers（渐变过渡方式）：
  • Mixture of Diffusers采用一种渐变过渡的方式来实现图像过渡。
  • 在这种模式下，两张图片交接的部分可以设置得较小。这个参数可以根据需求进行调整，以获得理想的过渡效果。
• 2、MultiDiffusion（混合采样方式）：
  • MultiDiffusion采用混合采样的方式来实现图像过渡。

  • 在这种模式下，图片交接的区域可以设置得稍大一些一般保持默认即可。调大可以获得更平滑的过渡效果，但可能会稍微减慢渲染速度。

总结：
– Mixture of Diffusers采用渐变过渡方式，可以设置较小的图片交接部分。
– MultiDiffusion采用混合采样方式，可以设置稍大的图片交接区域，来获得更平滑的过渡效果。

案例实操

接下来我做一个案例来简单说明一下。在图生图中我们保持默认参数重绘幅度保持0.75默认参数。图片生成。

我们使用MultiDiffusion分块处理来看一下分块处理和这个有什么区别。这里的放大器是一定要选的，要不然是没有效果的。

生成的图片比较杂乱，很多张图片拼接在一起，不过没有关系。我们使用噪声反转这个功能就可以控制我们画面的结构细节。

现在已经找回了一定的结构，可能是种子的原因没有找回所有的结构。接着我把ControlNet的Tile打开，Tile在一定程度上也可以帮我们找回结构，而且可以丰富画面的内容细节。现在生成的图片就是MultiDiffusion和ControlNet的Tile，使用默认参数相结合所得到的一个图片效果。

噪声反转和Tile相互叠加的关系

我使用图表的方式来介绍一下噪声反转和Tile相互叠加的关系。刚才的那个种子画面有点杂乱，这张图片更有代表性一点。这里是默认的图生图，这里是分区图生图。分区图生图画面不是很连贯，需要搭配噪声反转和ControlNet的Tile一块使用。我们使用噪声反转控制画面中的结构，然后通过Tile向图中添加细节。在两者的搭配下，我们可以找到比较不错的图片。在噪声反转中还有另外一个参数Renoise Strength，这个参数可以控制细节结构的数量。在Web UI中在这里调节。而噪声反转的步数可以控制细节溢出的程度，像这里的话它已经完全溢出了。再加上Tile中的细节，过多的细节已经开始影响这张照片的观感了。我们要调节合适的参数来生成图片。

重铺噪声（renoise strength）强度的作用

接着我举一个例子，在Web UI中说一下重铺噪声强度它到底在起什么作用。在Web UI中我们打开一张图片。这张图片本身是有点模糊的，有点朦胧的感觉。红绘幅度调到0.4，我不想让它偏移太大。打开Tile的Diffusion，打开选择放大器，打开噪声反转，步数放到25左右。再打开ControlNet的Tile。好了，我们生成一张图片。总体我还是比较满意的。接下来我们把重铺噪声强度给它调到0，看一下会出现什么情况。这张照片有一种锐化过度的感觉，而且没有那种朦胧的感觉了。这个应该是重铺噪声强度学习的细节结构过少的原因。

照片修复的案例

下面来看一个照片修复的案例。这张照片现在有点模糊，我们的操作一般是把它先变清晰之后，然后再加一些细节锐度。如果上来就给很高的参数的话，可能会造成一些细节上的扭曲变形。还是跟之前一样，我打开了TiledDiffusion，然后把噪声反转打开，参数放小一点。如果这个时候我们把噪声反转的步数调大的话，因为我们的图片本身就很模糊，会造成很多很奇怪的细节。这里的细节保持为1，保留一定的细节，要不然一会儿什么都没有了。这里还是常规参数，保持默认。我们这张图片的清晰度和细节已经有一定程度的提升了，我们现在把它发送到图声图中。替换这张照片，然后再对它最后进行一个整体上的锐化处理。

照片放大的例子

下面我们设置一下参数，缩放器数改为1，改为1以后Tile的Diffusion就不起作用了。我们把它打开是因为我们需要下面的噪声反转，噪声反转步数稍微提高一点，提高到25左右吧。25步会极大的提升一个我们噪声细节，但是这些噪声细节中有很多不需要的部分。我们降低一下Renoising Strength让这些细节变少一点。Ctrl键的Tile还是原来的默认参数，这里重新生成一张。这张照片的修复就完成了，最后再来说一下我们文声图中的照片的一个放大的例子。我们把页面刷新一下，所有的参数都回到默认，选择Counterfeit，填入提示词。把照片改成横构图。发送到图声图中。打开Tile的Diffusion。步数25步。Renoising Strength选择0.5，启用噪声反转。打开Ctrl键的Tile。其他参数都是默认的，重绘幅度是0.75，基本上保留了我们原图的一个结构。

up：阿滋Azi