ControlNet功能的进阶玩法

在该视频的开始部分，主持人详细介绍了如何安装和使用ControlNet功能，并详述了其在SD中所创新的一系列功能。尤其是在AI制图中自由操作画面构图、人物姿势甚至风格色彩的能力，使其成为了大多数用户的必备工具。

如何使用ControlNet

在Web UI中，ControlNet的使用被限定在一个预设的模板上，需输入图片至预处理器，输出信息图后再由SD加工成成品。而在插件中，只需在生成过程中切换至ControlNet标签，在三个可折叠的选项中选中相应的框框以启用。

操作方法

画布中使用矩形选区选定对应的图片范围，设置原始图，便可将内容输入。

选择模型和预处理器的位置在下半部分。此区域会同步预设的处理类型。

选择后预览注释器处理，结果会展示在右侧。模式、权重和部署的菜单会出现在下方。

PS与ControlNet的联动

主持人向我们展示了PS的强大编辑功能，举了例子如通过ControlNet智能识别处理线稿，结合适当的提示词或简单颜色点缀，可以使AI完成后期上色和加工过程，渲染为生动逼真的3D CG照片。

本教程旨在帮助对绘画一窍不通的人学习如何在Photoshop(以下简称PS)中使用绘画工具。

PS绘画工具

PS提供了很多用于绘画的工具，包括各种标准的几何形状，和用于绘制优美曲线的钢笔工具。
你可以通过各种工具实现你想要的表达，只要熟悉其运用，绘画并不难。

控制类型切换到Scribble

Scribble和Linart有类似的作用，但Scribble因为是涂鸦工具，所以对线条的形态宽容度会更高一些。

使用Scream绘画

1. 将控制类型切换到Scribble。
2. 稍微将control的权重降低一点。
3. 稍微将结束的步数拉低一点。
   
4. 点击生成。

经过以上步骤，你想要画的内容就可以在PS中展现出来了。

结合segmentation模型

另一个典型的应用是结合segmentation模型来实现更精确的构图控制。Segmentation模型能帮助我们更精确的控制画面的各个部分，从而提高画面质量。

一、语义分割技术概述

1.1 语义分割简介

seg是语义分割技术的缩写，是一种深度学习算法，用于将图像的像素与物体类别关联。

1.2 应用领域

详细介绍了语义分割在自动驾驶、工业检测等领域的广泛应用。

二、Control Net和SAG预处理

2.1 图片处理流程

• 描述了将风景图导入Control Net，并使用SAG预处理得到信息图的过程。
• 信息图的色块对应原图中的不同信息，如植物、道路、水流。
  

2.2 ABE 20K数据集

• 提到CTRL训练最早使用的是ABE 20K数据集，包含2万多张可标记的图片，涵盖150多种目标。
• 附上一份表格，详细介绍了不同色号对应的目标类型。

2.3 预处理类型推荐

• 推荐使用Ctrl的两个带有ADE20K的预处理类型，以得到标注良好的图像。

三、SAG的应用

3.1 图像编辑功能

• 介绍了通过SAP在图像上添加新元素的步骤，如在桥上添加一个人。
• 强调了通过查表得到颜色类型，进行细致编辑的重要性。

3.2 SD和PS的互通

• 描述了SD和PS完全打通后，编辑操作的低试错成本。
• 强调了插件的方便之处，比如在画布上编辑，全选画布，将信息图发送回原始图。

3.3 创作建议

• 提出了使用PS分二层的方法，方便对图像进行各种编辑。
• 鼓励尝试从零开始，使用不同颜色完成一张语义分割的画作，并由SD渲染成成品。

四、插件其他功能

4.1 工具栏和功能按钮

• 介绍了插件的小工具栏，包含一系列按钮，可自由放置在任意角落。
• 强调了智能预设功能，方便配置所需的所有功能。

4.2 Props Library

• 描述了插件内置的props library，记录了常用的提示词，可通过大括号调用。
• 强调了这些功能是锦上添花，提高了创作效率。