快科技12月1日消息,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。
据了解,该模型基于3T tokens高质量数据训练,在10个权威基准测评中夺得开源模型最优成绩,性能超越开源标杆Llama 2-70B,成为业界最强开源大模型。
不仅如此,其性能也超越了大部分商用闭源模型,在部分测评中甚至超越闭源的GPT-3.5和GPT-4。
比如,在英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B在C-Eval、CMMLU、GaokaoBench等基准得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。
此前,中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型。
Qwen-72B填补了国内空白,以高性能、高可控、高性价比的优势,提供不亚于商业闭源大模型的选择。
基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。
除了720亿参数模型外,通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。
Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。
至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。
阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。