Comfyui工作流入门教程，如何添加lora？

ComfyUI教程2年前 (2023)更新 wanglu852

247,330 0 0

Lora模型及应用场景

为什么要使用Lora模型

Lora模型试图解决大模型训练中的资源占用和计算量大的问题。当训练大模型时，复制一个大模型所需的计算资源和存储资源都非常大。Lora模型的思路是在不完全复制模型的情况下，让模型理解并吸收新的概念，这对于参数特别多的大型语言模型来说非常有帮助。Lora模型可以在很短的时间内训练少量样本，在几个小时内生成储存量小的模型，从而提高效率。

Lora模型的原理

Lora模型应用于cos attention层（黄色框内），用于文本和图像的融合。Lora模型采用U型结构，通过向下采样提取特征，然后通过向上采样放大特征，并利用左边提取出来的一些特征来进行学习，从而生成一个具有特征的降噪模型。Lora模型还会新建一个层来改变cos attention中的权重矩阵，将一个大的权重矩阵拆分成两个较小的矩阵进行存储，从而减少空间占用。

Lora模型的应用场景

Lora模型可用于制作真人cosplay图像，使用大模型和特定的角色Lora模型结合来生成特定风格的角色图像。Lora模型还可用于制作特定动作的Lora，实现角色做出特殊动作的效果。使用Lora模型可以根据自己的想象力创造出更多的玩法。另外，Lora模型还可以用于生成特定风格的角色图像。

在comfyUI上如何搭建Lora模型工作流

可以使用comfyUI中的加载器节点和Lora节点来搭建Lora模型的工作流。根据需要选择对应的模型和Lora，设置模型强度和CLIP强度参数。Lora模型的连接方式可以采用效率加载器节点，将模型和Lora连接起来。在搭建的过程中，要注意触发词和触发词的设置。

Web UI和comfyUI的参数设定

在Web UI和comfyUI中，模型强度参数的设定方式不同。在Web UI中，模型强度会通过均衡化的方式自动调整，而在comfyUI中，需要手动设置模型强度的值。另外，在comfyUI中使用时，需要注意种子参数的设置和embedding的使用方式。

模型强度和CLIP强度

模型强度参数

模型强度参数是指我们在填写文本时设置的权重，用以调整生成文本的连贯性和流畅度。例如，如果我们将模型强度设置为0.8，生成的文本会更加自然，不会出现突兀的情况。

CLIP 强度参数

CLIP 强度参数是用来调整我们对输入文本的强度的权重。通常情况下，Web UI 上的 CLIP 强度与模型强度参数相等。那么在大于0.6以下的情况下，生成的文本就会相对合理。

在调整这两个参数时，最好将它们保持一致。例如，如果模型强度参数设置为0.8，那么 CLIP 强度参数也应该设置为0.8。当然，如果你不太在意，使用默认设置也没有大问题。

关于调整 CLIP 强度的图示

通过以下图示，我们可以更好地理解我们所创建的图表。只要 CLIP 强度不是特别低，比如将 CLIP 设置为0，那么大约在0.6以上的值就是一个相对合理的标准。因此，在调整这个参数时，最好遵循这个标准。例如，如果我们将 CLIP 强度设置为0.2（非常低），实际上就没有太多应用到我们的 Lora 信息上。如果我们调整为0.4，相应地，生成的文本也会更接近原始输入一些。在如何取舍和平衡这两个参数时，每个人可以根据自己的习惯进行调整。