市面上主流变声软件、语音克隆翻唱软件RVC\SOVITS,哪个最好用?

AI前沿5个月前发布 wanglu852
10,523 0 0

目录:语音转换,文本转语言,语音转文本,AI绘画,博弈AI,大语言模型,大型数据库

一、Sovits AI人声模型训练

首先介绍一下Sovits,So-vits-svc(也称Sovits)是由是中国民间歌声合成爱好者Rcell基于VITS、soft-vc、VISinger2等一系列项目开发的一款开源免费AI语音转换/翻唱软件,通过SoftVC内容编码器提取源音频语音特征,与F0同时输入VITS替换原本的文本输入达到歌声转换的效果。

由于某些原因,原作者Rcell删除了原代码仓库,现由svc-develop-team接手进行后续维护

Sovits是一款能在我们普通的消费级显卡上进行训练的语音AI模型,你可以收集某个人A(在合法的途径下)的语音素材集合(1~2小时的优质干声),然后利用Sovits训练出一个具有A音色的模型出来,该模型不仅可以用来翻唱歌曲,你可以用自己的声音提前录制一份音频素材,然后利用此模型将音频中你的音色转换为A的音色;要想使用此AI工具,显卡的显存自然不能太低了,如果想要训练模型的话,显存最好在8G及以上(训练成本较高,但训练出的模型效果相较于其它AI语音模型较优质);

教程:
目前个人认为Sovits比较好的教程和整合资源可以看B站的羽毛布団UP主

二.RVC:Retrieval-based Voice Conversion

RVC同样也是一个AI语音转换软件,是B站UP主花儿不哭和Rcell经过半年时间做了上百组实验得出的当前的最优解,它与Sovits相比较的优点在于:即便在相对较差的显卡上也能快速训练,使用少量数据进行训练也能得到较好结果(推荐至少收集10分钟低底噪语音数据),而且训练时长也较Sovits减少了很多(训练成本低);之所以能使用如此之少的数据集就能得到不错的效果,是因为该软件有一个提前训练的底模,底模使用接近50小时的开源高质量VCTK训练集训练;

教程:
推荐直接去B站UP主花儿不哭主页查看,他对RVC有着详细的教学和资源整合包

三.RVC实时变声器

当今市面上有非常多的RVC实时变声器,但它们都是基于花儿不哭(RVC)的源码修改过来,加了一个实时转录的功能;一般是以一个桌面软件的形式呈现,不同于以往的普通的变声器,它是利用已经训练好的AI模型进行实时变声的,这也就意味着你可以利用RVC独自训练一个你朋友(或其它知名人士)的音色模型,然后利用此软件进行实时变声;

该软件对电脑要求不高,因为只是转录,没有训练模型;对于模型,可以自己进行训练,也可以使用一些网络上开源的已经训练好的AI模型;不推荐去购买AI语音模型!这是非常不理智的!

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!