科技博主阑夕:大模型不光卷价格 还要卷并发
  • 梦佳
  • 2024年05月22日 10:44
  • 0

豆包通用模型lite-4k/32k,千tokens推理输入售价0.3厘;通义千问qwen-long,千tokens推理输入售价0.5厘;百度文心ERNIE Speed、ERNIE Lite,宣布免费。

针对近期的大模型降价狂潮,科技博主阑夕发文称:行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

以下是阑夕微博主要观点:

豆包大模型打响价格战已经过了一个星期,山雨欲来的效果还是挺明显的,同行要么跟着一起降价,要么开始写小作文阴阳,特别热闹。

有比较急的,拿以前云雀模型的限流指标和模型单元价格来算,暗戳戳说豆包实际使用价格要高。等火山引擎官网把不同版本、不同规格的销售方案全部亮了出来,不管是预付费还是后付费都确实是击穿地板的底价标准,瞬间打脸回去。

豆包模型定价,最值得关注的是把TPM(每分钟token数)提到80万,比同行(一般是10万到30万tokens)高几倍。如果对话文本小,RPM(每分钟请求数)上限1万,能支持的并发量是同行(一般是60到120,轻量版是300到500)的几十倍。其他大模型要不要跟?

科技博主阑夕:大模型不光卷价格 还要卷并发

行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

(关于免费)大模型的算力烧钱主要在训练端,推理端的成本其实是每年都有几十倍优化空间的。但再怎么优化,也不可能优化到0。

足够便宜,但依然能赚钱,由此促成应用/商用市场的规模增长,包括OpenAI在内的主流大模型开发商,都是这么一个思路,可以不讲武德,但是商业规律还是得敬畏的。

不管怎么说,大模型toB还在做大蛋糕的阶段,有更多公司一起解决企业入局的成本门槛,也都算是共赢吧。

科技博主阑夕:大模型不光卷价格 还要卷并发

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0