PIKA上线唇形同步:AI视频的新突破,让人物真实对话!

AI前沿2个月前更新 wanglu852
9,264 0 0
广告也精彩

PIKA上线唇形同步:AI视频的新突破,让人物真实对话!

PIKA的更新动态

PIKA在沉寂了3个月后,终于又更新了。他们没有去追求模型的更新,或者控制的优化,而是继续奔赴他们1.0最开始所设定的目标:对话PIKA上线唇形同步:AI视频的新突破,让人物真实对话!

PIKA唇形同步的特色

PIKA的模型,有一个跟所有的其他AI视频产品都不同的地方在于,当你生成人物的时候,大概率会说话,也就是唇形会动起来,模拟人物正在对话的感觉。PIKA认为,这样的效果,才能更符合真正的”短片”效果,毕竟,一个短片,想要好看,人与人之间的对话那是必不可少的。PIKA上线唇形同步:AI视频的新突破,让人物真实对话!

PIKA的问题

然而,去年PIKA1.0上线的时候,其实是并没有跟语音打通的,也就是说,你只能生成一个正在动嘴的人物,但是没有声音。声音你需要自己去11Labs或者魔音工坊里面跑。然后用剪映等工具,把你跑的语音和AI片段拼起来。这就有一个问题是:唇形和发音,是不匹配的。所以PIKA做唇形同步,是绝对的情理之中,他们一定会做,且必做。

PIKA的新功能

PIKA最新推出了唇形同步功能。你可以上传你自己的音频,然后PIKA会根据音频生成人物的唇形动作。这样,就可以实现人物的唇形和发音的同步了。

PIKA的优势

PIKA上唇形同步,想象力一定是非常强的,因为不管是Heygen或者奇妙元,能做的都是静态的照片说话,在效果上,有一定的局限性,因为背景不会动。而PIKA自身的AI视频再加上唇形同步,会做出一些以前实现起来非常复杂但是很有戏的效果,能给AI视频,带来一些新的想象力。

PIKA的不足

但是在唇形同步的效果上,坦率的讲,跟Heygen和奇妙元相比,还有一定的距离要走。比如只支持正脸,侧脸一些就会崩。比如面部有一些遮挡物的时候,就识别出错。比如有一些背景人脸的时候,会一起识别出来。比如唇部经常在抖不够稳定。比如有时候唇部会糊。等等。

PIKA的未来

但是毕竟PIKA这次的更新,还是Test版本,还没有向大众公开。还有非常大的优化空间。我很期待PIKA后续在唇形同步上的优化,给AI视频,注入一些新的活力。

#感悟
PIKA的唇形同步功能是AI视频领域的一大进步,尽管现在还存在一些问题,但是我相信,随着技术的不断进步,这些问题都会得到解决的。我很期待PIKA未来的发展,我相信他们会给我们带来更多的惊喜。

#关键词
#PIKA #AI视频 #唇形同步

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!