数字人插件SD-wav2lip-uhq安装和使用教程

1. 插件介绍

大家好，我之前分享了一个SAD Talker插件，可以根据上传的图片生成视频。今天我要分享的是另一个数字插件，也可以称为口播插件。它能根据上传的视频生成新的视频，并且支持换脸功能。例如，你可以用它来制作类似郭德纲讲英语相声的视频。在生成的视频中，嘴型和语音是同步的，这得益于WAV2LIb技术。使用起来非常简单，下面是详细步骤。

2. 插件安装

2.1 SD插件的安装

我之前在视频中详细介绍了四种安装方式，你可以参考之前的视频。这里我演示其中一种方法，通过扩展进行安装。

• 打开webui，搜索框中输入插件名称 “wav2lip”。

​​

• 下载插件并完成安装。
• 重启WEB UI，在顶部导航栏中看到”wav2lip Studio”，表示安装成功。

2.2 模型下载

我已经准备好了模型，链接在视频描述中。下载所需模型并放到对应位置，为后续步骤做好准备。

​​

​​

​​

3. 使用教程

3.1 视频上传

首先，上传你的视频。如果需要对视频中的人物进行换脸，上传替换人物的图片。例如，我上传了一张非洲女人的图片，表示将替换视频中的女生为非洲女人。

​​

3.2 音频上传

接着，上传音频。你可以在这里生成文字转语音，支持国语、英语、法语、日语等多种语言。如果有准备好的音频素材，也可以直接上传。

​​

​​​​

3.3 模型选择

插件提供两个模型，一个是WAV2LIP，一个是WAV2LIP_GAN。WAV2LIP模型能更精确地追踪嘴巴动作，但可能导致生成的视频脸部动作不协调。而WAV2LIP_GAN模型则能让视频更加平滑顺眼。默认使用WAV2LIP_GAN模型。

​​

3.4 参数调整

参数调整是关键，没有固定最优值，需要根据视频调整。可以先使用默认参数，根据生成效果调整参数，特别是嘴巴大小等参数。

3.5 生成视频

点击生成按钮，生成过程可能较慢，同时占用显存较大，特别是对于高分辨率的视频。如果显存不够，可以考虑调整视频分辨率或者调整refactor参数。

4. 查看效果

生成完成后，查看效果。第一个视频是换脸后的效果，看是否成功替换为非洲女人。最后一个视频是换脸并同步嘴型的效果，也可以听到音频效果。

5. 注意事项

• 生成过程可能很慢，占用显存大，需要耐心等待。
• 如果显存不够，可以降低视频分辨率或调整参数。
• 参数调整是个体化的过程，根据视频效果调整参数直至满意。

6. 更多信息

如果想了解更多插件信息，可以访问GITHUB官方地址。链接也在视频描述中。

模型链接：https://pan.quark.cn/s/542a3c2d58c9