五、AI测试:NPU+OpenVINO联手为Stable Diffusion加速 仅需35秒就生成一张图片
1、Stable Diffusion
我们也测试了当下最热门的AI制图工具——Stable Diffusion,它是一个基于图像的AI模型,只需要输入一句话,或者几组特定的关键词,就能生成一幅想要的图像。
Intel通过OpenVINO方案,对Stable Diffusion提供了支持,可以配合CPU或核显也能进行“炼丹”。
测试条件以太空大战为关键字,采样方法为Euler a,分辨率为512×512、迭代步数20。
默认模式下,没有开启OpenVINO,但得益于NPU的加持,生成速度也相当迅速,可以在93秒生成一张图片。
在同样条件下,开启OpenVINO后,渲染设备更改为GPU,效率再次提速,来到了1.93it/s,只需35秒就能生成一张图片,比默认要快了1.66倍。
2、大语言模型
为了让本地也能够运行大语言模型,Intel构建了BigDL-LLM库,通过各种各样的大语言模型进行优化和支持,从而让搭载16GB内存的Intel酷睿处理器以上的笔记本上,也能运行参数量高达160亿的大语言模型。
我们使用的AI 应用是“英特尔大语言模型”Demo应用, 要求它生成云南五天的旅游行程。
这个过程中,NPU的平均生成率为58.69 ms/token,还是非常迅速的。
由于这个大模型应用并不联网,仅在本地生成结果,针对这样的表现而言,已经相当强悍了。