Google每天处理20PB数据 37倍于三年前
  • 上方文Q
  • 2008年01月10日 12:16
  • 0

Google的Jeff Dean和Sanjay Ghemawat近日披露,Google庞大的分布式计算集群现在平均每天都要处理20PB(20000TB)以上的数据,三大核心技术之一的MapReduce每天工作量超过10万个。

在2007年9月,MapReduce的工作量多达221.7万个,平均完成时间395秒,平均每个工作使用394台机器,一个月下来就要动用11081台服务器;当月每天Map输入数据403152TB,Map输出数据34774TB,Reduce输出数据14018TB,最终输出20756TB,也就是将近21PB。

Google还同时透露了2004年8月和2006年3月的MapReduce状态统计,对比之下更能看出Google的飞跃发展,单就处理数据量而言就是三年前的37倍。

Google每天处理20PB数据 37倍于三年前

最后再看看Google集群节点的标准配置:双路Intel Xeon 2GHz超线程处理器、4GB内存、两块160GB IDE硬盘、千兆以太网。这种机器在企鹅计算或戴尔那里价值大约2400美元,在Verio等处的主机托管费用一个月要900美元左右。一个MapReduce工作的硬件集群运行成本高达100万美元,而且这还不包括带宽费用、数据中心开销、员工工资等。

附注:

MapReduce:Google开发的C++编程工具,用于大规模数据集(大于1TB)的并行运算,“Map”(映射)和“Reduce”(简化)以及主要思想都是从函数式编程语言和矢量编程语言那里借来的。

Jeff Dean:天才架构师,Google大型并发编程框架MapReduce的作者。

Sanjay Ghemawat:Google基石之一、大规模分布式文件系统“Google FileSystem”(GFS)的主要作者,同时也是Google MapReduce以及Google BigTable的作者之一。

 

文章纠错

  • 好文点赞
  • 水文反对

此文章为快科技原创文章,快科技网站保留文章图片及文字内容版权,如需转载此文章请注明出处:快科技

观点发布 网站评论、账号管理说明
热门评论
查看全部0条评论
相关报道

最热文章排行查看排行详情

邮件订阅

评论0 | 点赞0| 分享0 | 收藏0