引言
著名导演奉俊昊曾提到,字幕是阻碍外国观众尽情欣赏电影的一个障碍,因为他们需要同时兼顾阅读和观看。而多语言版本的电影(MLV),虽然能解决语言问题,但因制作成本高昂,难以广泛推广。配音成为一种流行的折中方案,但由于声音和演员口型不同步,常常显得不自然。
为了解决这一问题,唇形同步(lip-sync)技术应运而生。它通过生成与语音音频相匹配的嘴唇动作,实现语音与画面的完美同步。除了电影,唇形同步技术在当今短视频搞笑视频的
3款本地唇形同步一键整合包软件
以下介绍3款强大易用的本地唇形同步软件,助你轻松实现语音驱动视频的唇形同步效果。
前置条件
一键整合包用于win10、win11,并且需要配备至少8GB显存及以上的独立 NVIDIA 显卡 可用。cuda版本需要大于等于11.8,如果cuda版本小于11.8,可以按照教程按装指定版本的cuda,https://www.zhisk.com/1154.html。
cuda版本查询cmd指令
nvcc –version
或:
nvidia-smi
(注意:在 Windows 系统上,某些较高版本的 CUDA(例如 12.6 等)可能会导致未知问题。您可以考虑将 CUDA 降级到版本 11.8 以确保稳定性。)
1. EasyWav2lip
使用教程:
打开软件后
会自动弹出网页界面
使用很简单,只需要上传人脸说话视频,和一段语音。
建议的一些参数使用
最后点击制作等待生成即可。
一键包获取方式,公 众 呀 是哪 个 好!InnoTechX
发送 ”ivw“
2. VideoRetalking
使用教程:
打开软件后,会自动打开网页跳转界面,没有跳转就自行复制打开
上传视频、语音素材
最后点击制作即可
一键包获取方式,公 众 呀 是哪 个 好!InnoTechX
发送 “ivr”
3. FaceFusion
下载压缩包,解压到本地,全路径不能包含中文,包括视频、语音素材。
点击启动整合包.exe
启动后会自动跳转到网页打开
选择帧处理器按照下图标注设置,设置执行器,以及上传素材
最后点击开始即可
PS:这里的输出视频长度不是由音频决定的,是由视频决定的,你需要多长的语音,就需要提供和语音一样长度的视频,用视频剪辑软件剪切拼接下重复人脸片段即可。
一键整合包获取方式,公 众 呀 是哪 个 好!InnoTechX
发送 “ff”
效果对比
在整体效果上,EasyWav2lip 优于 VideoRetalking 和 FaceFusion,特别是在生成自然唇形动作和同步准确性上。
注意事项
使用视频素材时,建议使用720p分辨率的视频,因为这些模型通常在较低分辨率下训练,相较于1080p视频,720p能提供更好的效果。即便唇形同步后的视频清晰度不高,后续也可以通过高清模型进行优化处理,达到真实逼真的视觉效果。
其他在线唇形同步平台推荐
如果你不介意付费,也可以尝试一些提供类似功能的在线平台:
- Rask: [https://zh.rask.ai/]
- HeyGen: [https://app.heygen.com]
- Synthesia: [https://www.synthesia.io/#free-ai-video]
- Elai: [https://elai.io/]
- Colossyan: [https://www.colossyan.com/ai]
- SyncLabs: [https://app.synclabs.so/playground/lip-sync]
这些平台都提供了相关功能,适合那些有更高预算的用户。
如果使用EasyWavlip和VideoRetalking得到的视频不高清,想要更高清,欢迎公众号骚扰我,教你如何使用模型将视频变的更高清。