快科技11月10日消息,在近日举行的AMD Advancing AI World Tour首尔站上,模型轻量化专家Nota AI展示了一项针对AMD异构计算环境的黑科技。
实测显示,通过深度优化显卡与神经网络处理器的协同逻辑,AI推理响应时间最高缩短了52%。
这套方案的核心在于打破了以往处理器“单打独斗”的局面。在AMD锐龙AI Max+395处理器的测试环境中,Nota将推理过程进行了切分。
让神经网络处理器(NPU)负责预填充阶段,专门处理输入信息;而显卡(GPU)则专注于解码阶段,负责最终的响应生成。
这种分工策略充分利用了不同处理器的架构优势。为了进一步榨干性能,Nota实现了两个处理单元共享同一套AI模型权重。这一举措不仅消除了重复加载导致的内存冗余,还让内存使用量显著削减了11%至32%。
在针对阿里通义千问Qwen3-8B开源模型的测试中,这套异构执行环境展现了极高的效率,相比AMD现有的混合方案,其总响应完成时间缩短了28%至52%,单Token能耗降低了31%。
目前这项技术已集成至Nota自家的NetsPresso优化平台。该平台引入了AI Agent机制,能够自动分析硬件特性并制定最优策略。
实测覆盖了Llama、Phi、Mistral等主流模型,响应生成速度比单纯使用NPU执行快了2.5至3.8倍。



