PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

AIGC项目教程1个月前更新 wanglu852
6,123 0 0
广告也精彩

第一部分:准备阶段

原理:这里我们会把目标视频做为lora的训练集,先把视频每多少帧抽一张图片,然后把图片一键裁剪成512*512的图来做为训练集,最后挑选高质量的图片做为训练集,再用sd的批量反推,打上tag,一般20-300张即可训练出一个非常不错的lora,人物也会与训练集中的人物高度一致。这样在PV助手设置好人物,就可以让人物来做任何动作。PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

在SD的WD1.4标签器 设置好,输入输出目录(同一个,反推完之后,做为训练集路径)

PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

1.1 下载取与安装训练包

  • 先准备一个视频,按上图操作抽出需要的训练集。

  • 步骤1 : 首先,访问提供的官方资源库或者推荐的下载链接,下载最新版本的训练包。确保你所下载的版本与当前使用的AI平台兼容。这个需要首先 下载PV助手

  • 步骤2 : 下载完后,解压缩文件到一个新创建的文件夹内。

    1.2 软件环境配置

  • 步骤 : 打开PV, 在“路径”或类似命名的选项下,复制粘贴刚刚解压好的文件夹路径。

    1.3 启动与验证

  • 操作 : 完成设置后,保存更改并关闭设置窗口。此时,你应该能看到软件提示模型加载成功。点击“启动”或“开始”,进入新手引导页。如果一切顺利,恭喜你,已成功开启旅程。PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

  • PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

第二部分:基础操作与模型选择

2.1 大模型与管理

  • 了解 : 在主界面,找到“底膜文件路径”这里列出了预设的大模型列表,如“推文大模型1.5”。
  • 选择 : 点击推文大模型1.5,通常会有“安全”按钮,查看模型详情。确认后,复制模型地址,回到训练界面粘贴入“底膜文件路径”栏,确认添加。PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

    PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

    2.2 数据集处理

  • 导入 : 导入数据集,需解压至单独文件夹,与模型同级或子文件夹内。在软件内,找到“数据集”或“数据管理”,点击“添加数据集”,指向该文件夹。

  • 管理 : 删除错误或不相关数据集,选中后,点击“移除”即可。注意,数据集命名清晰,如“日漫角色”,有助于后续操作。

第三部分:进阶技巧与优化

3.1 参数设置

  • 学习率 : 关键参数之一,决定模型学习速度与效率。一般默认0.001-0.002间,数据多可调低,反之可略增。在“训练参数”下调整。
  • 批次大小 : “批次”影响内存使用与训练速度,初学者设2较好。在“训练参数”调整。
  • 其它如图所示即可,然后开启训练。PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

    3.2 数据合并与Lora

  • 合并数据 : 若需不同风格或主题训练,可合并数据集。例:将“名人”与“日漫”文件夹内容复制到新文件夹,命名“综合角色”,在软件“数据集”使用“合并数据”功能。PV助手最新版-高级炼丹教程,打造专属AI模型lora,让你的人物角色高度一致!

  • Lora风格化 : 使用Lora微调模型风格,如“二次元化”。在模型设置内,找到“Lora”或“风格化”选项,粘贴入相应Lora文件地址,应用即可。

四部分:实战与问题解决

4.1 实战演练

  • 动画片案例 : 选取一部动画片,如“仙剑侠传”,作为数据源。提取关键帧,整理至文件夹,按上述步骤导入训练。训练时,以“仙剑画风”为关键词。
  • 风格转换 : 训练完“仙剑画风”,可尝试用Lora将画风转换为“二次元”或“3D卡通”。在Lora设置里调整,训练,即可得到新风格图片。

    4.2 常见问题与对策

  • 学习率跳跃 : 若训练时学习率波动大,检查数据集是否统一,模型是否过大,或尝试降低学习率。

  • 风格不一致 : 数据集风格差异大,可能导致生成图像不协调。确保数据集风格统一,或分批训练。
  • loss值:avr_loss=0.122 0.03内属于上等说明学习的比较好, 0.03-0.06中等 0.06-0.1下等 0.1以上没学会!

结束语

如果训练出来的lora权重设置为1,图会“炸”,因此,权重设置不宜过高,当权重为0.3时,“好丹”的效果已经很明显。通过以上步骤,你已掌握了从基础到进阶的AI模型训练技巧。记住,实践中不断实验与调整是关键,遇到问题时,回到基础,耐心分析,或寻求社区帮助。继续探索,享受AI带来的无限创意之旅!

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!