视频地址:http://pan.baidu.com/s/1dDEgKwD
最开始还是讲hadoop的起源,但是和其他垃圾视频不同,不是照本宣科,听了还是受益。作者给人一种感觉就是他是确实把他的经验和体会告诉别人,而不是像其他讲师把网上别人的思想讲一遍
视频给了课程目标,不知道我听完了视频能达到多少
Google是两个大学生创业建立起来的,值得我去反思,我的年轻在哪里?
Google是hadoop的细想之源;
通讯运营商要向Google付费(Google已经垄断到这种地步了)
Google的数据是放在内存中的,这样少了很多IO,速度快了很多;为了防止内存丢失灾难,使用冗余备份
快速搜索思想:倒排索引,不是like;
百度之所以这么牛(在中国),是它中文分词研究的很好;
Page Rank,Google核心算法。用来给每个页面评分,从众多页面中找到用户想要的。被链接的数量,不同的链接含金量不同;
EXSI,vmware的一个软件,小型改造的Linux,可以把一台服务器虚拟成N台,一台服务器只能跑一个EXSI,不能再装其他系统了
平时用的叫VMware workstation
hadoop架构
这个在后面的版本中变化不是很大;
namenode secondaryname jobtracker 可以装在不同的机器上
集群模拟最好是三台,可以完全模拟datanode在备份时的操作和MR在分配任务时的操作
视频是12年出的,讲的hadoop版本也是很低:0.20.2。 那个时候hadoop才出道1.x,现在都是2.5.x了
PIG:进行简单的数据分析,有自己的语言;
HBASE:分布式列数据库、可以部署在hadoop上也可以单独部署,Nosql;
HIVE:SQL语言到MR的映射器,将SQL语句转换成MR程序;
...