Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘
  • 上方文Q
  • 2024年07月15日 22:41
  • 0

【XDNA 2 NPU架构:算力全球第一、首发全新数据格式】

锐龙7040系列是全球第一款集成NPU AI独立引擎的x86处理器,锐龙8040系列在此基础上大幅提升性能。

目前,AMD已经积累了丰富的AI PC生态,硬件方面有宏碁、华硕、戴尔、惠普、联想等各大品牌的支持,软件方面发展了100多个AI优化功能,无论是Windows 11系统本身,还是Adobe、Black Magic、Blender、Topaz Labs、Webex、Zoom等头部应用都已支持。

AMD预计今年会有150多家ISV软件商支持AMD AI PC功能。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

锐龙AI 300系列升级到了全新的XDNA 2架构,也是AMD的新一代NPU。

最直观的变化,就是AI引擎单元从20个大幅增加到32个(分为四行八列),而每个单元内的MAC数量也翻了一番。

再加上板载内存容量增加1.6倍、Block FP16块状浮点格式支持、非线性增强支持、8条并发空间流(翻倍),算力从初代的10 TOPS大幅增加到50 TOPS (INT8和Block FP16)。

这是全球第一个达到如此高度的NPU,远超Intel Lunar Lake、高通骁龙X Elite、苹果M4等竞品。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

值得一提的是,XDNA 2不但增加了核心单元,还可以灵活分区使用,包括空间分区、时间分区。

空间分区适合并发实时模型,可以将不同列的核心单元分配给不同的任务,比如2个列负责实时视频、2个列负责实时音频、4个列负责App应用。

时间分区适合大模型,可以整体先后执行不同的任务,比如先全力处理LLM大语言模型,然后集体进行视频编辑。

根据负载不同,XDNA 2可以按照一个或多个列分别开关(4/8/16/20/24/28/32),也就是轻度任务下能关掉部分核心,从而节省功耗,能效比初代提高了一倍。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

对于AI应用来说,数据类型是至关重要的,XDNA 2架构行业首创支持了开放的Block FP16浮点格式,综合了8位数据的性能、16位数据的精度。

它本质上也是一种16位格式,因此拥有非常接近传统FP16(单精度)甚至是FP32(双精度)的高精度,AMD官方数据显示一般可以做到FP32格式的99.7%到100%,也就是几乎无损,可以无缝衔接使用FP16、FP32、BF16训练的模型,不需要额外的量化。

此外,Block FP16还有着类似9位格式的存储空间、8位格式的吞吐性能,因此模型体积相比于FP16可减小足足44%,计算性能与INT8格式相当、是FP16的两倍。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

AMD宣称,Llamav2 7B大模型用上锐龙AI 300系列、Block FP16格式,响应速度可以达到Intel酷睿Ultra 100处理器的整整5倍。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

AMD现场就演示了锐龙AI 300处理器运行Llama 2 7B大模型时的RAG(检索增强能力)。

比如直接问它AMD的新一代NPU架构的名字,因为没有学习过,就会胡乱回答什么7nm RDNA,然后喂给它AMD在台北电脑展上的演讲,它立刻就能学习并给出正确的答案,不仅知道XDNA 2架构的名字,还知道它的新特性。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

NPU能力的发挥,离不开开发平台的支持,AMD也制定了长期、稳定的锐龙AI路线图。

第三季度将有锐龙AI 1.2版本,正式支持Block FP16数据格式、C++ API,以及各种最新AI模型,比如Llama 2/3、通义千问1.5、Stable Diffusion XL-Turbo等等。

第四季度升级到1.3版本,扩展支持更多模型,并首次支持WSL Linux子系统。

明年第一季度继续升级到1.4版本,首次带来AMD一体化AI堆栈,并继续为新的SOTA Gen模型进行优化。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

AMD还举了一个典型案例,能将手机作为专业摄像头的免费软件Camo,已经支持AMD NPU,而且得益于方便的锐龙AI开发套件,可以轻松将现有的ONNX运行模型从GPU集显迁移到NPU上。

Zen 5对比初代已提升85%!AMD CPU/GPU/NPU三大新架构揭秘

AMD还披露了下一代NPU的规划,算力、能力进一步强化,可以直接处理大模型,更多接手和分担CPU、GPU的工作。


文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0