漫画脸的刷屏,是否让你喜欢上了这种打破现实与幻想次元壁的变脸特效?
明星也被这种新奇有趣的玩法吸引,比如张含韵,她变身王者峡谷里的妲己,凭借AI加成的美貌,收获"妲己本己"的追捧。
除了可爱,新型变脸特效还承担了搞笑的重任,从满头秀发到瞬间光头,并在包租婆、冲天辫的发型间来回切换。
此外,在胖、瘦、老、幼之间反复横跳,也是这种技术给用户带来的新奇体验。
不管是创造了微视视频特效制作量新纪录的王者脸,还是在QQ上线的全球首创光头特效,都是腾讯光影研究室利用生成式对抗网络 GAN所制造的魔法。随着GAN网络在生成质量上的不断提高,它越来越频繁地落地到社交娱乐场景中,给用户带去最直观、新鲜的AI体验。
左右互搏生成完美图片,AI界的"网红"技术
那么使得新型变脸特效得以实现的生成式对抗网络 GAN,究竟是什么?
它是由美国科学家Ian Goodfellow发明,试图让计算机自己生成逼真图片的AI技术。这个技术让两个神经网络相互对抗:Generator,作为生成器,产生数据实例; Discriminator作为判别器,来评估真实性,检查每个实例是否属于真正的训练数据集。
简单来说,生成器在识别人脸后,尽可能地做出真实的人脸数据,由判别器去识别这份人脸数据到底是像真人,还是像假人。当判别器做出"假"的判断时,就将结果反馈给生成器,敦促他再生成一份更完美的数据。这样的不断循环往复的过程,就是AI技术精确、智能地自我调整过程。
生成器和判别器就好像斗智斗勇的"造假者"和"鉴定家",在"鉴定家"不断识别出假货的同时,假货的品质也不断提升,最终达到了以假乱真的程度。
从理论到实践,光影研究室持续打磨逼真体验
GAN的概念,在理论上看似简单易懂,但要建立一个真实有效的模型,则存在一系列巨大的技术桎梏与难题。以下就是国外在技术打磨过程中产生的翻车现场:
腾讯的光影研究研究室为了给用户逼真、毫无违和感的变脸体验付出了无数的努力。
比如,在研究王者脸特效的时候,为了保证用户脸变成王者脸后的效果,光影研究室深入研究了包括人脸3D重建、人脸五官重现、人脸环境光迁移等前沿尖端技术。过程中,研究室利用百万级别的图片,搭配十几台高性能机器,让模型日夜不间断训练、调整、优化,最终训练出一个整体性能稳定、鲁棒性强的王者脸模型。
其次,为了让原本计算量巨大的神经网络模型在移动设备上流畅运行,光影研究室基于注意力机制设计了轻量模型,打造更简洁轻量化的学习流程,并通过专注于脸型、五官、面部细节等方面的诠释和把控,给用户以假乱真的体验。最终,轻量模型通过有效的机型分发策略,就可以让使用不同品牌手机的用户都能拥有更加流畅的变脸体验。
变脸特效的顺滑、流畅的体验感,也是让用户"不出戏"的要义之一。为了丝般柔滑的顺畅体验,腾讯光影研究室构筑了一套通用实时LightGANNet,优化了模型前向耗时和GAN生成效果;同时利用深度光流算法,大幅提高GAN模型帧间稳定性。
因而,当我们现在点开手机、玩转一个个充满魔幻想象的变脸特效时,这看似只是一个简单清晰的操作,但这个"从无到有,从有到优"的过程,却是腾讯光影研究室无数个日夜的努力。
伴随着腾讯光影研究室在GAN技术上不断的革新进步,未来,他们也将在变脸特效上玩出更多新花样,利用人脸编辑属性,在年龄、性别、头部朝向、情绪、颜值、视线、皮肤状态等属性上打造出更多新奇有趣的玩法,让用户持续体验科技的魅力。