数字人插件SD-wav2lip-uhq安装和使用教程

SD入门教程6个月前更新 wanglu852
33,909 0 0
广告也精彩

数字人插件SD-wav2lip-uhq安装和使用教程

1. 插件介绍

大家好,我之前分享了一个SAD Talker插件,可以根据上传的图片生成视频。今天我要分享的是另一个数字插件,也可以称为口播插件。它能根据上传的视频生成新的视频,并且支持换脸功能。例如,你可以用它来制作类似郭德纲讲英语相声的视频。在生成的视频中,嘴型和语音是同步的,这得益于WAV2LIb技术。使用起来非常简单,下面是详细步骤。

2. 插件安装

2.1 SD插件的安装

我之前在视频中详细介绍了四种安装方式,你可以参考之前的视频。这里我演示其中一种方法,通过扩展进行安装。

  • 打开webui,搜索框中输入插件名称 “wav2lip”。

数字人插件SD-wav2lip-uhq安装和使用教程

  • 下载插件并完成安装。
  • 重启WEB UI,在顶部导航栏中看到”wav2lip Studio”,表示安装成功。

2.2 模型下载

我已经准备好了模型,链接在视频描述中。下载所需模型并放到对应位置,为后续步骤做好准备。

数字人插件SD-wav2lip-uhq安装和使用教程

数字人插件SD-wav2lip-uhq安装和使用教程

数字人插件SD-wav2lip-uhq安装和使用教程

3. 使用教程

3.1 视频上传

首先,上传你的视频。如果需要对视频中的人物进行换脸,上传替换人物的图片。例如,我上传了一张非洲女人的图片,表示将替换视频中的女生为非洲女人。

数字人插件SD-wav2lip-uhq安装和使用教程

3.2 音频上传

接着,上传音频。你可以在这里生成文字转语音,支持国语、英语、法语、日语等多种语言。如果有准备好的音频素材,也可以直接上传。

数字人插件SD-wav2lip-uhq安装和使用教程

数字人插件SD-wav2lip-uhq安装和使用教程数字人插件SD-wav2lip-uhq安装和使用教程​​

3.3 模型选择

插件提供两个模型,一个是WAV2LIP,一个是WAV2LIP_GAN。WAV2LIP模型能更精确地追踪嘴巴动作,但可能导致生成的视频脸部动作不协调。而WAV2LIP_GAN模型则能让视频更加平滑顺眼。默认使用WAV2LIP_GAN模型。

数字人插件SD-wav2lip-uhq安装和使用教程

3.4 参数调整

参数调整是关键,没有固定最优值,需要根据视频调整。可以先使用默认参数,根据生成效果调整参数,特别是嘴巴大小等参数。

3.5 生成视频

点击生成按钮,生成过程可能较慢,同时占用显存较大,特别是对于高分辨率的视频。如果显存不够,可以考虑调整视频分辨率或者调整refactor参数。

4. 查看效果

生成完成后,查看效果。第一个视频是换脸后的效果,看是否成功替换为非洲女人。最后一个视频是换脸并同步嘴型的效果,也可以听到音频效果。

5. 注意事项

  • 生成过程可能很慢,占用显存大,需要耐心等待。
  • 如果显存不够,可以降低视频分辨率或调整参数。
  • 参数调整是个体化的过程,根据视频效果调整参数直至满意。

6. 更多信息

如果想了解更多插件信息,可以访问GITHUB官方地址。链接也在视频描述中。

模型链接:https://pan.quark.cn/s/542a3c2d58c9

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!