Intel首批通过AISBench大模型性能测试!5代至强可达每秒2493 token
  • 黑白
  • 2024年09月05日 19:58
  • 0

快科技9月5日消息,近日,第五代英特尔至强处理器,以优秀的表现通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)。

借此,英特尔也成为首批通过AISBench大语言模型(LLM)推理性能测试的企业。

Intel首批通过AISBench大模型性能测试!5代至强可达每秒2493 token

在AISBench 2.0测试工具的评估下,第五代英特尔至强处理器在ChatGLM V2-6B(60亿参数)和Llama2-13B(130亿参数)两个模型上均展现了卓越的性能,能够满足轻量级大语言模型的实时推理要求。

测试结果显示,在60亿参数的ChatGLM V2模型通用推理中,当输入输出序列为256时,处理器可达每秒2493 token的性能;当输入输出序列为2048时,性能为每秒926 token。

在130亿参数的Llama2模型通用推理中,当输入输出为256时,性能为每秒513 token;当输入输出序列为2048时,性能为每秒132 token。

Intel首批通过AISBench大模型性能测试!5代至强可达每秒2493 token

AISBench 2.0的测试结果,验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能。

也使得客户可以通过基于至强的服务器,构建一个通用AI系统进行数据预处理、模型推理和部署,从而获得兼具AI性能、效率、准确性和可扩展性的组合。

同时还彰显了英特尔至强可以为企业提供“开箱即用”的功能,即可以在通用系统上部署一部分AI工作负载,从而为客户带来更佳的总体拥有成本(TCO)优势。

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0