文件名称:Hadoop的国际应用-Hadoop hbase介绍
文件大小:1.76MB
文件格式:PPT
更新时间:2024-05-12 22:03:42
Hadoop hbase
Hadoop的国际应用: 在Yahoo!, 2008年2月,雅虎宣布搭建出一个世界上最大的基于Hadoop的生产集群系统—Yahoo! Search Webmap(简单地讲,就是雅虎网页搜索抓取的所有站点和网页及其关系的数据库) 页面之间的链接数超过1000亿; Webmap输出的压缩数据超过300TB(Terabyte); 有单一的MapReduce任务同时在1万多个CPU的核(core)上运行; 生产集群硬盘空间占用超过5PB(Petabyte); 与原来没用Hadoop的方案相比节约了30%的时间。 Amazon的搜索门户A9.com中的商品搜索的索引生成就是基于Hadoop完成的。另外,Amazon最近发布的GrepTheWeb Web Service,内部使用了基于EC2(Elastic Compute Cloud)的Hadoop集群,承担其中的并行计算工作。 著名SNS网站Facebook用Hadoop构建了整个网站的数据仓库,它进行网站的日志分析和数据挖掘。此外,在IBM 2007年年底的蓝云计算集群中也采用了Hadoop进行并行计算