最近,如果你经常刷视频网站,可能会刷到一些非常神奇却又带感的东西,具体来说就是各种人物,例如孙悟空啊、蒙娜丽莎啊,居然都开口唱歌,就像下面的视频:
这视频自然不可能是原片,显然是加工生成的。那么这种视频是怎么做出来的呢?
其实它用到了一个开源的AI项目“Yanderify”。这是一个可以将视频和照片合成、让照片按照视频人脸一样,表情动起来的神奇项目,就如Yanderify项目页面中的这个动图所演示的那样。
从左到右,分别是照片原图、视频原片以及合成生成的视频。那么Yanderify具体要怎么操作?今天就来给大家讲讲!
首先,Yanderify是基于Python的项目,我们先需要安装Python。点击下面链接进入Python官网,下载安装即可。
Python官网:https://www.python.org
如果你的操作系统是64位的,那么最好下载64位的Python。以Windows系统为例,Python官网的下载按钮默认可能会提供32位的安装包,这时候你可以进入到Download-Windows页面中,找到64位的安装包下载。
接着,进入Yanderify的GitHub页面。
Yanderify:https://github.com/dunnousername/yanderifier
在其中找到“Release”链点,下载最新发布的Zip包即可。
Yanderify无需安装即可运行,解压后,双击“Start Yanderify”。
Yanderify的界面非常简单,一个命令行窗口+一个毫无装饰的GUI。我们所需要做的,就是选择一张图片素材和一段视频素材,然后设定输出路径。另外,Yanderify对硬件有一些要求。
Yanderify支持N卡的GPU加速,但要求型号高于GTX750,而且有2G以上的显存;而如果你用的是A卡的话,Yanderify没法使用GPU加速,需要勾选“Use CPU”的选项。
在素材的选择上,注意不能选择规格太过高清的图片和视频,不然可能软件会崩溃。
点击“Go”,Yanderify就开始合成素材了。不过如果你是第一次使用Yanderify,那么它还会先下载两个文件。这两个文件的下载速度比较慢,这里把这两个文件的下载地址贴出来,大家可以用下载工具下载。
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth
https://www.adrianbulat.com/downloads/python-fan/2DFAN4-11f355bf06.pth.tar
下载完毕后,关闭Yanderify,把两个文件放到以下目录。
C:\Users\用户名\.torch\models
然后开启Yanderify,就可以正常使用了。
Yanderify的效果如何?笔者简单合成了一个小视频,仅供大家参考……
原图&合成
好了,教程到此为止。这个AI的原理是利用机器学习,来识别视频和图像的脸部运动,然后将图片按照视频,处理成为动画。
如果你觉得好玩,不妨亲手试试吧,恶搞一下朋友还是很有趣的,但可不要用它来传播虚假信息!