“ 要怎么样才能当你的丈夫呢? ”
“ 我丈夫要武功盖世,状元之才。一人之下,万人之上。你做不做得到呢 ? ”
当年,由星爷、达叔出演的经典港片《 武状元苏乞儿 》,可以说给大家留下了深刻的印象。
而以它为代表的的港片,也可以说是承载了不少人的童年和青春。
但过了几十年,有时候再想翻出来回味回味,这些老电影的画面,也随着差评君岁数的增长,变得越来越模糊。
不过就在上周,差评君却突然发现:青春它回来了。
因为抖音、火山引擎和中国电影资料馆联手,搞了个经典香港电影修复发布会。
《 武状元苏乞儿 》就是这次发布会上,已经完成 4K 修复的电影之一。
看看这清晰度,这画质,还真是没有对比就没有伤害。
除了《武状元苏乞儿 》之外,还有《 A 计划 》《蜀山 · 新蜀山剑侠 》等经典老片,也完成了 4K 修复。
根据官方的说法,还要启动 “ 经典影像修复计划 ” :在未来修复 100 部香港经典老电影。其中, 10 部由中国电影资料馆与火山引擎合作修复,剩下的 90 部都由火山引擎以 AI 技术为主进行修复。
消息一出,马上有网友评论, “ 能把《 山村老尸 》 4K 修复吗,要无删减版的 ”
好家伙,童年阴影直接变成年阴影。。。
当然玩笑归玩笑,这次,港片和差评君能重新找回青春,还得感谢 AI 这位大功臣。
这么说吧,利用 AI 修复电影,其实并不是啥新技术。
早在 2019 年,电影《 海上钢琴师 》《 开国大典 》等电影的 4K 重映,就都用上了 AI 修复技术。
因为很多老电影都是用胶片储存的,胶片硝酸基片的材质易燃易爆炸,太干燥或者太潮湿了都不行,放的时间一长,就容易出现褪色、霉变、划痕等情况。
呈现到电影画面上,就是画质模糊,卡顿拖影,跟现在的什么超高清、蓝光根本没法比。
按照传统的修复方案,一部可能多达十几万帧的电影,需要由人工来一帧帧地修复。
就算是一位经验丰富的修复师没日没夜地干,也需要 1 个月的时间才能修完一部影片,有时候一天就只能修几秒钟。
也正因为胶片这种特殊的性质,人工的修复速度压根赶不上胶片损毁的速度。
好在, AI 加入了这场与时间赛跑的 “ 胶片抢救 ” 之战。
就像陈嘉上导演在发布会上说的那样:
当我看到没修复前的胶卷( 片 )时吓了一跳,原来胶卷( 片 )已经真实地在消失了,把它( 老电影 )修复没多少机会,谢谢他们的团队让我们留下一点东西
2019 年前后, AI 在老片修复中的价值渐渐被挖掘出来,当修复师把物理损伤清洁干净,并转化为数字格式以后,剩下 80% 以上的工作就可以交给 AI 了。
AI 模型能够对受损的地方进行修复,让画面看起来更清楚。
不过,以前的模型生成能力其实是比较有限的。
比如说基于 VAE 、 Flow 的生成模型,对于下游任务场景的通用性比不上生成对抗网络 GAN ,但基于 GAN 的模型训练稳定性又不太好。
所以为了能够适配老片修复的场景,火山引擎想到了用大模型来解决问题。
自打去年大模型火了以后,有不少 AI 绘画应用都是在扩散模型的基础上微调出来的。
而现在,除了可以文生图、文生视频,这些模型同样也能用在老片修复上。
就比如说基于 Stable Diffusion 的视觉大模型。
因为 Stable Diffusion 本身就是大量数据喂出来的,其中很大一部分来自于真实世界的图像,模型从数据集里提炼出来的 “ 精华 ” ( 先验知识 ),就包含了对海量真实世界图像的认知,正好就能用在老片修复上。
这部分作为 “ 精华 ” 的先验知识能够保证模型创造出来的信息是与海量真实世界数据相吻合的。
一方面可以让生成的场景更加真实,另一方面也不至于让 AI 脑补出很多 “ 超自然 ” 、 “ 灵异 ” 的细节。
为了更好地利用这些先验知识,火山引擎将已在数百万张图像上完成迭代和训练的 Stable Diffusion 2.1 作为基础模型,再叠加自研的「老片修复网络 」,针对老片修复任务进行微调。
像这次《 武状元苏乞儿 》等经典港片的修复,就是火山引擎第一次尝试用视觉大模型来修复老电影。
不过,目前大多基于 Stable Diffusion 的视觉大模型并不能完全适用于老片修复场景,所以还得想法子调整调整。
首先,是生成能力的优化。
虽然视觉大模型比之前的 GAN 要稳定,但还是避免不了生成结果的随机性。
比如说自动上色,又或者加了一些原本那一帧画面里没有的东西。
为了保证输出的稳定性,一方面,火山引擎优化了模型中的随机种子。
因为随机种子会影响到生成结果的随机性,换句话说,控制了随机种子,就能让模型在可控范围内进行结果生成。
像这张图里,输入一张图像后,Suitable 代表的是其随机种子最好,生成的画面清晰又自然。
但像这三张随机种子没那么好的生成结果,不是锐化太高,就是柔和得太过。
另外,火山引擎又对大模型的生成空间进行了分析,只选大模型理解得比较好的内容进行生成,让生成质量有了不小的提升。
其次,就是对视频场景的优化。
毕竟电影不是 PPT 放映,已有的模型多是用于图片生成,容易造成时域不稳定。
视频的时域要是不稳定,就会出现前后帧生成的纹理不一致的情况,像闪烁啊,抖动什么的,都有可能出现。
所以,火山引擎就采用了设计时域的自编码器、光流特征对齐和时域条件约数三种优化手段,让生成结果具有时域稳定性。
打个比方,像周星驰的这个视频,在稳定前,发丝的纹理比较杂乱,但稳定后的头发纹理就比较均匀。
最后在效率上,火山引擎将视觉大模型的速度提升到了基础模型的 50 倍以上,大大提升了老片修复的效率。
当然了,看得清楚也并不是修复的唯一目标,老电影想要重新焕发生机,画质体验也得被更多的现代观众所接受才行。
那为了能够搞懂年轻人的喜好,火山引擎视频云团队专门积累了一套 “ 面向用户体验 ” 的数据体系:QoS ( Quality of Service 技术质量 )和 QoE ( Quality of Experience 体验质量 )。
其中, QoS 是对客观修复效果的描述,比如影片有没有卡顿、或者画质够不够清晰。
而 QoE 则是用数据来量化用户对于影片的喜好程度如何,人均播放次数、人均播放时长都能从侧面反映出用户的主观感受。
用户喜欢还是不喜欢,一看 QoE 就知道了。
这一面向体验的数据体系,不仅充分考虑了影片修复的质量,而且还兼顾了年轻人的感受,让经典实现了真正意义上的重生。
基于此,火山引擎这次首先在港片修复中拿出了一套色彩相关的算法,可以解决老片褪色、色偏等问题,并通过用户的主观测评,筛选出了符合更多人喜好的色彩方案。
咱直接看效果就明白了。
色彩校正前
色彩校正后
再来,火山引擎针对电影的流畅度也进行了处理。
以前胶片电影的帧率不高,打斗这些运动幅度较大的场景容易产生卡顿感。
为了提升流畅度,火山引擎使用了自研的智能插帧算法,在前一帧和后一帧之间再插入一个中间帧,让视频看起来更加丝滑。
陪伴了几代人青春的港片,终于在今天有了重获新生的机会。
根据中国电影资料馆事业发展部主任黎涛的说法,这次 4K 修复《 武状元苏乞儿 》的过程中。
陈嘉上导演也表示:希望把这部片子修得更现代,更容易让现代年轻人接受。
当曾经那些经典的画面,又以一种全新面貌出现的时候,说没有触动是假的。或许这也是 AI 带给我们的惊喜之一吧。
今天我们看到的是大模型修复了经典老片,明天说不定就能看到完全由 AI 来拍摄的电影。
而且不仅仅是影视业, AI 将来进入各行各业也是大势所趋。
像修复老电影这样让人眼前一亮的应用,相信也会越来越多。