StableDiffusion进阶教程，如何控制姿势生成自己的AI女友

简介

使用StableDiffusion生成AI女友的方法。它适合已经掌握了StableDiffusion的基本操作和插件使用方法的人。如果你还不熟悉，视频也会详细介绍插件安装和基本使用方法，只需花一些时间去学习。这种方法可以帮助你轻松生成自己的AI女友。

准备工作

在接下来的10分钟里，你将学会如何使用Segment Anything插件一键分离我们自己的图像，借助Control Net插件对分割后的图像进行重绘控制，同时借助Open Pose Editor让女友摆出你想要的姿势，接着通过使用图生图重绘上传蒙版对已有图片进行重绘，使用修脸必备插件After Detailer来优化女友的脸部，最后利用MultiDiffusionupScaler放大图片并优化部分细节。

插件安装

首先打开StableDiffusion Web UI，准备好今天需要用到的插件。如果你已经全部准备好，可以跳过这一部分。

分割图像

准备好了所有的插件之后，我们回到Web UI，点击图生图往下滑动，来到Segment Anything。这里我们选择Auto SAM，今天我们要用的是Mask by Category(按类别划分遮罩)。这个功能允许我们使用预处理模型定义好的类别ID进行语义分割，从而分离出我们想要的内容。

预处理模型选择

这里可以看到该插件提供的两种模型ADE20K和COCO对应的类别ID name关系。打开之后，我们可以看到这里将不同类别和ID进行了关联。使用的时候只需要输入你分割的类别ID即可。这里需要注意的是，如果预处理选择了COCO，这里对应的ID应该输入行数减21。我们就以COCO为例，勾选完美像素匹配，然后上传我本人的帅照。可以看到这张照片有人和手机，我们在COCO的Map关系中可以查到手机对应的行数是88，人物对应的行数是21。所以我们如果想要将手机和人物一起选择，就需要输入0+67之后点击预览。这里根据不同的显卡性能和不同的输入图片，预览图生成的时间会有所差异，但是相对于单张图片的处理，Auto SAM的处理速度确实会慢一些。

图像重绘

这期间我们可以先勾选上Copy to npaint Upload &img2img ControlNet Inpain选项等待分割完成。

我们可以看到已经将人物和手机作为一个整体从背景完全分离出来了之后，点击切换到局部重绘上传，然后来到Control Net勾选启用，勾选完美像素匹配。如果你的显存低的话，记得勾选低显存模式。然后预处理器这里我们选择inpaint_global_harmonious，可以提高全图的融合效果和一致性。之后模型这里我们选择control_v11p_sd15_inpaint 。其他的参数如果你不清楚作用，可以暂时不用调整。

安排女友的位置和姿势

接下来是比较关键的地方了，我们需要安排女朋友的位置和姿势。这里我们需要启用第二个Control Net，如果你的界面没有第二个Control Net，就需要来到设置，将这里的最大模型数量调成二，然后重启就可以看到两个Control Net了。我这里设置的四，但实际使用过程中几乎没有四个同时开过，每多启用一个Control Net就会多增加显存的消耗。

设置好了之后，同样的勾选启用和完美像素匹配，这里可以直接上传你提前做好的位置和姿势图片。如果你不知道怎么制作，可以在这里上传你的帅照，然后控制类型这里我们选择Open_Pose。点击这个爆炸按钮会自动生成一张预览图，提取你的人物姿势。

我们点击编辑会弹出一个Open Pose的编辑界面，这里我们可以通过新建人物调整你想象中女朋友的姿势位置和动作。这里我已经将女友的位置和姿势安排好了，所以直接上传这张预处理过的姿势图片。预处理器这里就可以选择无模型，保持不变之后。

我们继续往上滑动，设置我们想要输出的图片尺寸。这里需要注意的是，如果直接输入宽和高，需要保持和原图相同的比例，否则图片可能生成不全。如果你的显存足够大，这里尺寸可以进行适当的放大，后面再选择重绘区域时会介绍原因。当然，小显存也不会影响我们最终的生成效果。另外，如果选择了Resize by，我们需要在这里上传我们的原始图片。这里我们直接输入宽和高之后，重绘强度这里我们要输入的大一些，给AI女友充足的发挥空间。这里我们可以暂时按照默认的0.75不变。

设置蒙版模式

之后往上滑动蒙版模式，这里需要注意的是，蒙版是分割出来的人，我们想要重绘的是人物之外的内容，因此需要选择绘制非蒙版内容。

另外，绘制区域这里可以选择全图，也可以选择仅蒙版。区别在于，全图是在我们设置的图片尺寸的基础上绘制蒙版区域，这种方式下内容与原图融合会比较好，但缺点是细节的处理会差一些。当然，你也可以通过提高图片尺寸来增加细节，但是会消耗更多的显存。仅蒙版指的是在出图时将蒙版区域放大到指定的尺寸，画完后再缩小放到原图的相应的位置。优点就是细节更好，缺点也是细节太多，与原图融合的不够好，适用于重绘区域较小的图片，比如脸部、手部等。这里我们除了自己之外，所有的内容都需要重绘，所以选择全图。

描绘女友

接下来我们终于滑动到最上面了，这里需要在提示词中对你的女友进行描绘，你想象中的她是什么样子的。这里我从Wild Card提示词木板中组合了一些预设，就先选择一个Korean运动风格的女孩作为演示。导入之后点击生成，等待图片生成。

修复脸部细节
打开之后我们发现这张图片的脸部有些不理想，这里就是因为我们使用了全图进行绘制，但是图片尺寸设置的是512乘768，对脸部细节的描绘就没有那么完美。这里也不用着急，我们有两种解决方法。

– 一种就是通过提高出图尺寸，比如可以等比例放大到1024乘1536，但是如果显存不够，就会爆显存。

– 第二种就要用到After Detailer插件进行脸部修复。
我们往下滑动，来到After Detailer模型，这里我们需要进行更换。我们可以参考这张模型与修复目标的参考表格进行选择。

这里我们只修复脸部，就先选择这个Face OOV8N。其他参数可以暂时保持默认即可。当然这里要说明一下，如果你有多个女朋友需要进行脸部修复，可能需要修改这个置信度阈值。这个阈值越高，检测到的脸部就越少。如果默认值无法检测到你的某几位女友，可能就需要下调这个值。

另外还有一点需要注意的是，因为我们选择重绘的是非蒙版内容，这里Inpainting中的Impact Only Max需要取消勾选，否则也会出现无法识别脸部的情况。如果你取消了勾选也识别不到，可以选择使用下方的Control Net模型进行重绘。这里我们就可以选择control_v11p_sd15_inpaint 。

图像生成

接着回到最上方，点击生成，等待生成完毕之后，终于你得到了第一张AI女友。

接下来就非常简单了，可以调整重绘强度，让结果更加随机，同时在生成次数中输入你想要的数量，比如我这里输入四就可以一次生成四张照片。这里生成时间可能会稍微长一些，我就直接快进了。生成完毕之后看起来都还不错的样子，但是你可能也发现了，这几张图片都不够高清，放大之后会发现有很明显的颗粒感。

图像优化

这里就要用到最强放大插件Multi DIFFusion UPScaler了，这个插件允许我们用有限的显存生成高分辨率图片。这里我们选择重启WEBI来到图生图，上传你要放大的女友图片。


我们来到TileD Diffusion选项卡，这里会有非常多的参数，感兴趣的同学可以去看一下NELLY同学关于这些参数的详细用法。这里我们直接勾选启用，接着来到TIle vae勾选启用，然后高清算法这里真实图像可以选择4x Ultra Sharp、8X_NMKD或者ESRGAN 4X+.二次元就直接ESRGAN 4X+
ANIME6B。我这里选择4x Ultra Sharp为例。这里只特殊说明一点，关于这个放大倍数，如果勾选了保持输入图像大小，这里的宽高尺寸设置不会生效，在出图时会对原始图像的尺寸进行放大，放大倍数就是这里设置的数值。如果不勾选保持输入图像大小，需要在宽高尺寸中输入你想要生成的尺寸。当然建议和原图保持一样的宽高比，比如这里我输入宽1024，高1536。接着选择了放大倍数二之后，出图会对你设置的这个尺寸进行两倍放大，也就是原图的四倍。你也可以直接设置最终想要的尺寸，放大倍数选一即可。接着其他参数都保持默认即可。

之后关键的一点是，这里的重绘强度和其他图生图一样，0.5以上会和原图差距较大。我们暂时先设置0.3，后面我会为大家对比同样的放大倍数下0.1到0.4的重绘强度。

然后我们点击生成，这个过程会比较长，需要耐心等待。我直接快进了，等待生成完毕。可以看到一共花费了一分59秒，生成了一张接近4K分辨率的图片。和原图进行对比，除了尺寸有所放大之外，可以看出整个画面的部分细节也发生了变化，我的胡子也被优化掉了不少，从中年大叔变成了青年俊杰。这就是Multi Fusion的强大之处，它会自动的对画面进行细节的优化，不是和高清化放大一样的声音的放大，而是将放大后的图片与原图之间的像素差进行了重绘融合。当然，如果你觉得自己的颜值被改变了，可以将重绘强度调低或者直接设置为零。

结束语
这里我们在其他参数都不变的情况下，在脚本这里选择XYZ图表类型，选择重绘强度输入，生成0.1到0.4的不同重绘强度的对比图片。可以看到同样的放大倍数下，画面的细节逐渐发生改变。

UP:纯良思安