实时把你的脸变成名画!手机摄像头新玩法
  • 梦晨
  • 2021年03月22日 14:13
  • 0

这款叫做“FaceBlit”的最新的风格迁移技术,能够实时把镜头前你的脸变成指定画像的风格,还能匹配你的表情动作。

实时把你的脸变成名画!手机摄像头新玩法

性别不同也没问题。

实时把你的脸变成名画!手机摄像头新玩法

甚至可以用雕像和草稿。

实时把你的脸变成名画!手机摄像头新玩法

这一切都能在手机上实时进行,不需要拍好视频再等待处理。这意味着,本项技术可以应用于直播和视频通话,而不仅是上传拍好的视频作品。

它还可以反过来用,通过镜头捕捉你的表情动作,让画像同步动起来。

实时把你的脸变成名画!手机摄像头新玩法

来看看这么惊艳的效果是如何做到的吧。

位置匹配+外观匹配

首先是位置匹配,通过下巴的轮廓确定整个面部的形状。检测出五官等重要面部特征并编码。

实时把你的脸变成名画!手机摄像头新玩法

再把画像与人脸的面部特征进行匹配,确保迁移的结果在语义上能够一一对应。既鼻子对鼻子,眼对眼。

实时把你的脸变成名画!手机摄像头新玩法

然后是外观匹配,先把画像与人脸都去掉颜色进行灰度化,再进行高斯模糊处理。

用原始图像减去模糊后的图像得到其差值图像。以差值图像为依据进行直方图匹配(Histogram Match)。

实时把你的脸变成名画!手机摄像头新玩法

从对比图中可以看到,位置匹配和外观匹配共同作用才能得到理想的结果。

实时把你的脸变成名画!手机摄像头新玩法

为什么这么快?

风格迁移其实已经有很多方案,但使FaceBlit脱颖而出的最大的特点就在于速度快,无需大规模数据集和长时间训练。

在19年的前期成果中已经能做到在十几秒内训练出稳定的效果。

实时把你的脸变成名画!手机摄像头新玩法

FaceBlit将Fi?er等人在2017年提出方法中的4个匹配简化成两个,即上面提到的位置匹配和外观匹配,并改进底层生成算法,将准备时间缩短到几十毫秒。

检测面部特征时使用下采样(subsample),在对检测精度影响很小的情况下降低图片的分辨率。

通过预计算3D像素查找表,以占用更多内存为代价节省时间,并将搜索范围限制在目标位置的20个像素以内。

实时把你的脸变成名画!手机摄像头新玩法

最终在性能测试中,FaceBlit通过稍微提高预计算时间,大大减少了合成时间。这意味着,完成对参考画像的预计算后,就可以实时合成出所需的图像。

还是在只使用了CPU的情况下。

实时把你的脸变成名画!手机摄像头新玩法

在使用三星Note 8手机的测试中,FaceBlit在50万像素分辨率下以每秒15帧运行。

进一步研究方向

研究团队表示,虽然FaceBlit效果已经很惊艳,但还不够完美,并提出了3个未来的研究方向。

解决由于在计算过程中省略了对时间一致性的匹配,导致生成结果中会出现闪烁的问题。

解决外观匹配方法容易在风格迁移中忽略一些大尺度的特征的问题。

实时把你的脸变成名画!手机摄像头新玩法

通过交叉分析相似风格的同一套画像,来使结果能适应不同观察角度、照明条件等复杂情况。

作者团队

这项研究一作为来自捷克理工大学的Aneta Texler, Ond?ej Texler和Michal Ku?era。

另外还有来自相机社交应用公司Snap的华人研究员柴蒙磊参与其中。

实时把你的脸变成名画!手机摄像头新玩法

柴蒙磊博士毕业于浙江大学。主要从事计算机视觉和计算机图形学的研究,主攻人类数字化、图像处理、三维重建和基于物理的动画。

最后,FaceBlit的相关代码预计于4月份在GitHub上公布。


文章出处:量子位

文章纠错

  • 好文点赞
  • 水文反对
观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0