【AI:越来越像真人了 还不需要联网】
端侧生成式AI无疑是当下手机处理器乃至PC处理器最激烈的战场,进化迭代速度也非常快,不断延伸覆盖更多领域、更多玩法。
去年的第三代骁龙8,就带来了全球首个端侧Stable Diffusion,而且运行速度是最快的,而高通并未满足于此。
生成式AI最初包括文字、语音、图像等几个部分,更多模态不断加入其中,可以让智能助手真正听你所听、见你所见,带来更直观、更出色的体验。
为此,在骁龙8至尊版针对包含CPU、GPU、NPU等各个模块的高通AI引擎进行了大幅升级。
迄今最好的移动端CPU架构,也就是第二代Oryon,负责处理时延敏感型的AI任务,并帮助将AI任务分配到其他更合适的模块上,比如传感器中枢。
高通AI引擎中的其他核心,可以各自发挥所长,分别负责专门的AI任务。
高通Hexagon NPU也是高通AI引擎的核心所在,骁龙8至尊版进行了一系列提升。
首先,标量和向量加速器都增加了,现在向量加速器有6个核心,标量加速器则有8个核心,并且所有核心的吞吐能力都更强了。
再加上强大的Tensor张量加速器,整体运算能力大大提升,无论是超长文本支持,还是大模型加速,都可以轻松应对。
高通称,骁龙8至尊版NPU的性能、能效都提升了多达45%。
两个Micro NPU,加上两个ISP、DSP、内存,共同组成了高通传感器中枢,整体AI性能提升了多达60%,AI推理速度提升了45%。
高通还引入了并发特性,AI和计算视觉负载可以在NPU内存中共存,从而增加了灵活性,并进一步提高了性能。
另外,NPU、ISP等不同模块之间的直连通道也进行了重构,通信效率更高。
得益于如此强大的AI引擎,骁龙8至尊版可以完全在终端侧离线运行个性化、多模态的AI助手。
这种多模态AI助手更加智能,因为它背后有很多模型在运行,包括LMM(多模态)、LLM(语言)、LVM(视觉)、ASR(语音)等等。
现在通过LMM多模态模型,AI可以直接理解语音,节省了额外的步骤。
再加上NPU新增的加速器核心、升级的多模态模型,以及软件的不断优化,可以实现更快的AI处理速度。
这种技术进步带给用户最直观、最大差别的感受,就是语音交互更加灵敏,几乎感觉不到延迟,就像和真人交谈一样。
此外,骁龙8至尊版还提升了输入时可接受的token数量,可以上传更大的文档、音频和图像,从而让AI能够基于更丰富的参考资料,更深入、更贴切地了解用户想表达的问题,并进行更精准的回答。
除了文字和语音互动,AI助手首次可以完全在终端侧,通过摄像头看到用户所看到的内容。
如此一来,用户可以通过相机的实时模式,与AI助手进行互动,AI助手可以实时理解并回答用户的问题。
比如用户直接把摄像头对准收据,AI助手就能理解收据上的内容,然后通过推理来提供答案,比如帮你计算应该付多少钱、有几个朋友如何分担账单。
此外,AI助手能够量身定做,让手机更了解你的个人特殊需求,实现个性化。
手机上的传感器和摄像头也可以根据用户的喜好,在端侧本地创建属于个人的神经网络,让AI助手更理解用户的需求。