中国电信研究院发布天罡大模型评测榜单豆包大模型排名国产第一-快科技-科技改变生活

中国电信研究院发布天罡大模型评测榜单豆包大模型排名国产第一

cici
2024年08月27日 15:54
0

近日，中国电信研究院携手上海人工智能实验室、清华大学等产学研机构，发布了天罡通用大模型评测榜单。该榜单重点围绕大模型的能力和安全指标进行评估，GPT-4o综合成绩排名第一；豆包pro、通义千问Qwen-Max和智谱GLM-4在国产大模型中名列前三。

[MD:Title] 图：“天罡”通用大模型评测榜单

本次测评通过全面评测维度、权威评测题库、动态抽题、多裁判模型判别和人工审核等机制对国内外主流通用大模型开展了评测，评测对象包括国际头部闭源OpenAI的GPT-4系列、Google的Gemini系列、Anthropic的Claude系列、国内主流的闭源模型以及国内外主流的开源模型，评测结果展示了当前开源/闭源通用大模型整体能力分布和差距。

评测结果显示，GPT-4o在语言理解、认知推理、智能体等方面能力表现出色，总得分82.55分。国内头部大模型豆包、智谱清言在中文场景已达到GPT-4o的90%分位水平。其中，豆包pro模型得分达到79.38分，不仅在国产模型中排名最高，同时也超过了Gemini 1.5 pro、Claude3-Opus、Mistral Large等海外模型。

豆包大模型由字节跳动自研，是国内首批通过算法备案的大模型之一，正在通过字节跳动旗下云服务平台火山引擎面向企业提供服务。在近日召开的火山引擎AI创新巡展上海站活动中，新版豆包语言模型正式亮相，宣布其综合能力相比今年5月首次发布时提升了20.3%。

好文点赞
水文反对

此文章为快科技原创文章，快科技网站保留文章图片及文字内容版权，如需转载此文章请注明出处：快科技

观点发布网站评论、账号管理说明

热门评论

{for c in All}
         <div class="pluninfo"> 
      
      <div class="pluninfo_head" style="height:auto;">
        <div class="pface">
              {if (c.UserName=="") ||(c.UserName=="guest")} 
              <a href="javascript:;"><img src="//11.mydrivers.com/m/images/v1/qianshui.jpg"></a> 
             {else}
              <a href="javascript:;" onclick="userCommentInfo(${c.UserID});"><img src="//passport.mydrivers.com/comments/getusertouxiang.aspx?uid=${c.UserID}&size=medium"></a> 
              {if (c.UserID== 0)} <span class="zuozhe">作者</span>{else}
            <span class="jibie">${c.userlevel}</span> {/if}
          {/if}
       </div>
        <div class="plcenter">
          <div class="pluninfo_top1"> <span class="username {if (c.usersex == 2)} girl{else} boy{/if}">  {if (c.UserName=="")||(c.UserName=="guest")} ${c.AUserName}{else}${c.UserName}{/if}</span> 
                 {if (c.Cfrom!="" && c.Cfrom != "mobile")}<span onclick="downapp_float();" title="下载驱家新闻客户端，展示小尾巴" class="span_from dev ${c.Cfrom}">${c.model}</span>{else}<span class="span_from dev {if (c.model!= "手机用户" && c.model!="")} browser{else} ${c.Cfrom}{/if}">{if (c.model!= "手机用户" && c.model!="")}<img src="${c.bwimg}">{/if}${c.model}</span>{/if}   
                </div>
          <div class="pluninfo_top2"><span>${c.IPAdd}</span><span>${c.PostDate}</span></div>
        </div>
        <div class="plright"><img src="//11.mydrivers.com/m/images/v1/plun_moreinfo.svg" alt=""/> 
          <div class="pedite_img" style="display: none;"><img src="//11.mydrivers.com/m/images/v1/triangle-up.svg" alt=""/></div>
          <div class="pedite" style="display: none;">
            <ul>
              <li><a href="javascript:;" onclick="ShowMyReply(${c.ID})" class="huifu">回复</a></li>
              <li> <a href="javascript:;" onclick="userReport(${c.ID},${c.TitleID})" class="jubao">举报</a></li>
              <li><a href="javascript:;" class="taoyan">讨厌</a></li>
              <li> <a href="javascript:;" class="dels">删除</a></li>
            </ul>
          </div> 
        </div>
      </div>
      <div style="clear:both"></div>
       
      
      <div class="pluninfo_center">${c.Content}
           {if (c.RevertContent!="")}
          	  <div class="yinyong">
        <div class=" plunxx_center1">
        <span class="username {if (c.usersex == 2)} girl{else} boy{/if}">{if (c.RevertUserName=="")} ${c.RevertAUserName}{else}${c.RevertUserName}{/if}的原贴：</span>
             ${c.RevertContent}
        </div> 
		  </div>
           {/if}
      </div>
       
      
      <div class="pluninfo_bottom">
        <div class="fayan">
          <ul>
            <li><a href="javascript:;" id="s_${c.ID}"  onclick="sndReq(${c.TitleID},${c.ID},'support',${c.Support})" class="zhichi">支持[${c.Support}]</a></li>
            <li><a href="javascript:;" id="o_${c.ID}"  onclick="sndReq(${c.TitleID},${c.ID},'oppose',${c.Oppose})" class="fandui">反对[${c.Oppose}]</a></li>
            <li onclick="ShowMyReply(${c.ID})">回复</li>
          </ul>
        </div>
      </div>
       
      
      
      <div class="div_huifu" id="div_reply_${c.ID}"></div>
      <div style="clear:both"></div>
       
    </div>
   {/for}

查看全部评论

相关报道

邮件订阅

0 | 0| 0 | 0