stable diffusion(SD)画风lora模型如何训练?图图手把手教你!

lora模型训练4个月前更新 wanglu852
11,335 0 0
广告也精彩

图图新模型训练教学教程

这篇文档将会教你如何使用图图的小心思线条风模型训练自己的画风模型。对于模型训练,我们首先要准备充足的素材,并且根据训练目标来决定使用哪种方法。
stable diffusion(SD)画风lora模型如何训练?图图手把手教你!

一、素材准备

对于画风训练来说,你需要准备50张以上的图片作为素材,如果有能力,甚至可以使用100张图片。比如,我在这里使用了我最近训练的一个线条风的模型作为例子。
stable diffusion(SD)画风lora模型如何训练?图图手把手教你!
注意,对于画风训练来说,数量有些少,如果假设我们有300张图片,并想要训练画风,我们可以选择:

  1. 选择放100张图片作为训练集,另外的200张图片放置在正则化的训练集中。这样训练出来的画风模型艺术观感会更强,画风的整体把握感会更好。
  2. 你可以300张全部放在训练集中进行训练,然后把轮数开大一点。

二、正则化理解

在模型训练中,我们经常会听到正则化的名词,但不是所有人都知道它的意思。

用一个简单的例子来解释,如果把训练模型的过程比作学习英语,那么在学习英语之前对外语相关的知识进行了解就是正则化的过程。如果把训练模型的过程比作学习语文,那么在学习语文之前对汉语体系的学习和把握就是正则化的过程。

只有当我们预先设定了训练的范围,模型训练的结果才能更加正确。比如,我们要训练模型学习如何画一只青蛙,我们在正则化的文件夹中放入的应该是普遍意义上的青蛙图片,这样才能协助模型更准确地学习。

训练集没有,正则化有,训练结果一定概率会有。

什么情况下需要正则化?

stable diffusion(SD)画风lora模型如何训练?图图手把手教你! stable diffusion(SD)画风lora模型如何训练?图图手把手教你!

三、使用GPT打标

打标对训练来说是非常重要的,而JPT的打标效果会更好,一次打完后你几乎不需要做太大的修改。其步骤如下:

  1. 打开软件,配置接口账号,可购买OpenAI上的接口,具体网址已放在评论区。
  2. 输入地址,进行打标处理工作。
  3. 做完打标后,检查是否有失败的打标文件,如果有,重复打标一次。

四、使用赛博丹炉进行训练

训练阶段建议使用模型REZ12,打开招预览后,按照视频进行配置。配置完成后,我们可以开始训练,训练过程中需要关注loss值,但不一定非得从0.1级开始,最终下降到0.08才是正常的,应回顾整体的曲线和画面显示情况。

完成训练后,我们可以进行模型测试工作。对于线条风模型的测试结果, 经过多轮测试,发现模型对于权重和大模型都很敏感,与其他一些微调模型配合,还能出现一些意想不到的效果。

#关键词# 图图新模型训练教学教程 #素材准备# #正则化理解# #使用JPT打标# #使用赛博丹炉进行训练#
up原文链接:https://www.bilibili.com/video/BV1Sa4y1k7zq/?t=134&spm_id_from=333.1350.jump_directly&vd_source=da90c5b079a9341dcbabc07d923043d9

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!