深入浅出Hadoop实战开发视频教程升级版

时间:2022-05-02 07:49:17

下载地址:http://pan.baidu.com/s/1o7rEcNS 密码:f74s


hadoop版本:hadoop 2.4.1

hive版本:hive 0.13.1

hbase版本:hbase 0.98.6.1

centos版本:6.5


课程大纲:


01,课程介绍,HDFS架构和原理,搭建CentOS开发环境

> Hadoop背景

> HDFS设计目标,应用场景,架构分析

> 使用Virtual安装CentOS虚拟机

> 虚拟机环境配置

 

02,hdfs单机和集群的配置安装

> Hadoop单机版安装和配置

> Hadoop集群安装和配置

> Hadoop命令行和WebUI的使用

 

03,hdfs应用-云存储系统(1)

> 云存储系统介绍和基本架构

> 搭建Eclipse和Maven开发环境

> 使用Maven创建并配置Struts2应用

> 使用bootstrap搭建UI框架

 

04,hdfs应用-云存储系统(2)

> 安装和配置Redis

> 用户管理模块开发

 

05,hdfs应用-云存储系统(3)

> gson介绍和使用实例

> 实现普通的文件上传,删除,下载

 

06,hdfs应用-云存储系统(4)

> 实现基于HDFS的上传,下载和删除

> HDFS小文件管理方式:SequenceFile和Har

 

07,深入hdfs-NameNode和DataNode

> hdfs的架构介绍

> hdfs如何读写文件

> FSImage和EditLog

> Rack Awareness

> hdfs基本管理

 

08,深入hdfs-HDFS federation

> HDFS节点管理

> HDFS升级和回滚

> HDFS Federation

> 如何使用ViewFS

 

09,namenode HA

> zookeeper配置

> namenode HA(双机)安装和配置

 

10,yarn和mapreduce

> 配置Yarn(单机和集群)

> MapReduce的工作原理

> 第一个MapRedcue程序

> Yarn命令行工具

 

11,mapreduce应用-搜索提示(1)

> 工作原理介绍(Ajax)

> 使用JQuery的AutoComplete控件搭建UI

 

12,mapreduce应用-搜索提示(2)

> 继承Mapreduce程序

> 使用Redis保存中间数据

> 如何对增量和全量数据进行统计

> ”潜在好友推荐“算法介绍

 

13,mapreduce的采样工具和partitiion

> 采样和分区的工作原理

> RandomSampler,InputSampler,IntervalSampler

> TotalOrderPartitioner(全局排序)

 

14,Map Join和Reduce Join

> Reduce side join

> Map side join

> 如何自定义数据类型

> 如何使用DistributedCache

 

15,mapreduce应用-PageRank

> PageRank算法详细讲解

> 如何用mapreduce实现PageRank算法

 

16, Hive入门

> Hive的架构

> CLI, Hive Server, HWI介绍

> 配置Hive,使用Mysql存储元数据

> CLI的基本使用

 

17, hive应用-搜索提示(1)

> Tomcat日志解析

> 使用正则表达式解析Tomcat日志

> 在查询中使用正则表达式

 

18, hive应用-搜索提示(2)

> 在hive查询中调用python脚本实现Redis插入

 

19,HQL(1)

> HQL基础:DDL,DML

> 数据类型:原子与集合

> TextFile的默认编码及自定义编码

 

20,HQL(2)

> Hive查询

> 正则表达式,基本函数,集合函数,表函数

> 嵌套查询,case when语句,like和rlike

> Groupby和Having等

 

21,Hive自定义函数

> 如何编写自定义函数

> 在自定义函数中连接Redis

> 在自定义函数中使用CacheFile

 

22,Compression in Hadoop

> Compression in Hadoop介绍

> 在MapReduce和Hive中使用Compression

> 安装和配置lzo

 

23,24, HBase入门

> Hbase架构

> Hbase集群安装

> 使用HBase Shell

 

25,26,27,HBase应用 - 话单查询

> Hbase Java API

> Struts2 and JSP

> Jquery Datatable and Datepicker

 

28,29,30,HBase应用 - 微博

> 表结构设计

> 关注好友

> 发微博

> 我的主页

 

 31,32,Storm入门

 

> Storm架构及原理介绍

> 安装Storm

> 实现第一个topology

> Storm的grouping

 

33,Queue spout和DRPC

 

34,35,storm应用 - 语音话单计费

 

> 搭建计费topology

> 实现Queue spout和Mysql入库bolt

> 实现漫游和长途类型计算

> 计费逻辑的实现

> 整合所有功能到topology中

> 各个功能模块的验证