StableDiffusion插件Segment Anything使用教程-语义分割任何模型

简介

在这个教程中，我们将介绍如何使用 StableDiffusion插件Segment Anything的Auto SAM功能来实现对图像内容的精确识别和分割，以及如何进行修改和替换。换发型、换衣服、换背景轻松拿捏！

模型介绍

分割任何模型(SAM):来自Meta Al的新AI模型只需单击一下即可”剪切”任何图像中的任何对象，SAM是一个可提示的分割系统可以对不熟悉的物体和图像进行零镜头泛化，而无需额外的训练。官网：segment-anything.com

操作

• 首先，打开Stable Diffusion的Web UI界面。
• 点击图生图
• 在界面中往下滑动，选择”Segment Anything”。

可以看到有单张图像批量处理、Auto SAM和上传遮罩到Control重绘等选项。我们先选择单张图像处理，因为它非常简单。

上传图片并选择修改内容

上传你要修改的图片后，只需要用鼠标左键点击你想要修改的内容即可。如果选择错误，再次点击即可取消选择。右键点击会出现红色的点，表示不希望被选择的部分。选好后，点击”Preview Segmentation”按钮。

Auto SAM

今天我们主要介绍Auto SAM，它可以自动对图像内容进行全部识别和分割。

• 选择预处理器
  点击”Auto SAM”后，可以看到有三个预处理器可供选择。经过多次测试，我们发现”seg_ofcoco”和”seg_ofde20k”的效果最好。这里我们选择”seg_ofcoco”。
• 勾选”完美像素匹配”
• 上传要修改的图像
• 点击Preview Segmentation，可以看到生成了四张图片。左边两张是分割之前的，右边两张是分割之后的。
  

精准替换人物内容

如果想要将图片中的人物和背景替换成其他内容，可以选择前两张图片。今天我们想要做的是对具体的人物内容进行精准替换，所以我们选择第四张图片。勾选”Copy to Control Next Segmentation”，然后点击”发送到局部重绘”。

启用Control Net

往上滑动到”Control Net”，点击启用。勾选”完美匹配像素”。如果显存低的话，可以勾选”低显存模式”。预处理器不需要选择，模型选择：control_vllp_sd15_seg。

更改图片尺寸

在”局部重绘”部分，可以选择按比例改变图片尺寸，也可以选择具体的宽度和高度。尺寸最好不要小于原图尺寸。如果选择按比例改变，（resize by）需要再次上传需要修改的图片。

设置重绘强度

重绘强度和其他的图生图一样，如果太小，生成效果不明显；如果太大，会给AI更多自由发挥的空间。这里我们先设置为0.55。具体使用过程中，根据不同的图片需要进行调整。

输入修改提示词

最后，在最上面的提示词输入框中，输入蓝色眼睛、粉色头发、粉色和绿色背心、绿色短裙、发带、项链和眼镜等内容。点击”生成”按钮。

查看修改结果

稍等片刻，就可以看到眼睛、头发、背心和短裤的颜色已经被精准地替换掉了，项链、发带和眼镜也已经添加上了边界。修改效果非常清晰，完全看不出任何痕迹。
up：纯良思安