最完整的历史记录hadoop

时间:2022-04-18 18:13:38

课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战

课程针对人群

1、本课程适合于有一定java基础知识。对数据库和sql语句有一定了解,熟练使用linux系统的技术人员,特别适合于想换工作或寻求高薪职业的人士

2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础。学习过北风课程《Greenplum 分布式数据库开发入门到精通》、《全面深入Greenplum
Hadoop大数据分析平台》、《Hadoop2.0、YARN深入浅出》、《MapReduce、Hbase进阶提升》为最佳。学习QQ704271672

课程大纲

?Sqoop(6课时)

Sqoop产生背景、基本

Sqoop1和Sqoop2架构及特点

Sqoop1安装配置(版本号1.4.4)

Sqoop导入介绍

实战:从mysql导入数据到HDFS

实战:从mysql导入数据到Hive

Sqoop导出介绍

实战:将Hive数据导出到Mysql

Sqoop与Hbase结合

Sqoop作业操作

Sqoop作业安全配置

Sqoop2安装配置(版本号1.99.3)

Sqoop2使用综合实战

?Flume日志收集系统(7课时)

Flume概念和特点

Flume OG架构、组成、特点、容错机制设计

日志收集系统综合比較

Flume NG架构、核心概念

Flume OG的安装

Flume OG的配置(Web端、Flume shell)

Flume NG的安装配置、測试

Flume NG模块配置(Source、Channel、Sink)

Flume NG配置实战分析

?Avro数据序列化系统(1课时)

Avro介绍

Avro特性、主要作用

RPC使用Avro

Avro与其他序列化系统的区别

版权声明:本文博客原创文章。博客,未经同意,不得转载。