能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出
  • 青山
  • 2026年11月10日 14:53
  • 0

快科技11月10日消息,在近日举行的AMD Advancing AI World Tour首尔站上,模型轻量化专家Nota AI展示了一项针对AMD异构计算环境的黑科技。

实测显示,通过深度优化显卡与神经网络处理器的协同逻辑,AI推理响应时间最高缩短了52%。

能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出

这套方案的核心在于打破了以往处理器“单打独斗”的局面。在AMD锐龙AI Max+395处理器的测试环境中,Nota将推理过程进行了切分。

让神经网络处理器(NPU)负责预填充阶段,专门处理输入信息;而显卡(GPU)则专注于解码阶段,负责最终的响应生成。

这种分工策略充分利用了不同处理器的架构优势。为了进一步榨干性能,Nota实现了两个处理单元共享同一套AI模型权重。这一举措不仅消除了重复加载导致的内存冗余,还让内存使用量显著削减了11%至32%。

在针对阿里通义千问Qwen3-8B开源模型的测试中,这套异构执行环境展现了极高的效率,相比AMD现有的混合方案,其总响应完成时间缩短了28%至52%,单Token能耗降低了31%。

目前这项技术已集成至Nota自家的NetsPresso优化平台。该平台引入了AI Agent机制,能够自动分析硬件特性并制定最优策略。

实测覆盖了Llama、Phi、Mistral等主流模型,响应生成速度比单纯使用NPU执行快了2.5至3.8倍。

能耗直降31%!Nota新方案让AI推理快52%:NPU管输入GPU管输出

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0