【影像:本地AI让照片更真实、视频也有魔法消除】
第三代骁龙8凭借认知三ISP,就已经支持强大的终端侧AI影像功能,比如AI扩图可以扩充照片背景,AI超级分辨率可以提升照片清晰度和细节,AI语义分割可以自动识别画面中的不同物体并进行专门增强。
骁龙8至尊版又打造了一个全新的AI ISP,从底层与Hexagon NPU协作,最显著的提升就是Hexagon与内存之间的超快直连,从而能够直接在终端侧处理AI特性。
凭借这一直连技术,NPU有史以来第一次能够直接访问ISP上的原始RAW传感器数据,通过深度集成,实现对4K60fps视频拍摄进行实时AI辅助增强。
同时,更多的处理管线转移到了RAW域,进一步提升准确性和灵活性,同时零延迟快门吞吐量提升35%,每秒可以处理多达43亿像素。
现在,骁龙8至尊版支持三个4800万像素图像传感器同时进行30fps视频拍摄。
通过在4K60fps拍摄中实时调用NPU,骁龙8至尊版将先进的AI算法直接引入图像和视频处理管线的核心,这一技术叫做“Insight AI”。
它是一系列AI算法的合集,能够提升用户的日常拍摄体验。
其中之一是无限语义分割(Limitless Segmentation),支持对图片进行超过250层的语义识别和分割,可以对照片的所有部分进行专门的调整和改善。
在完成图像语义分割后,骁龙8至尊版可以利用实时皮肤和天空算法,并借助NPU的算力,识别光线条件,并进行修图。
因此,即便是在昏暗、复杂的光线条件下,也能拍出自然的皮肤和天空色调,还原真实的人物与世界。
还有实时AI补光技术,比如在视频通话或直播时存在严重背光,就可以添加一个虚拟的可移动光源,完美映射脸部轮廓,拍出更自然、更真实的人脸。
再比如视频魔法消除。
一如照片消除功能,骁龙8至尊版在视频上也可以做到,只需大致选择需要消除的对象,就可以利用AI轻松完成。
目前,该功能支持30fps视频。
AI宠物套件,基于NPU,针对宠物快速移动造成拍摄模糊,可以快速修正,让照片更加锐利、清晰。
关键是,这些功能都是在本地端侧完成的,无需上传云端,既能提升速度,也有利于保护隐私。