Hadoop葵花宝典（一）

时间：2021-08-29 22:08:30

1. 描述如何安装配置Hadoop

参考：http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html

  • 安装Linux(虚拟机上)—CentOS：创建用户，关闭防火墙，PS：不关防火墙无法访问Web管理页面，删除和增加节点时，会让数据迁移处理时间长，可能假死，节点间无法访问等问题。如果需要防火墙对其他的连接依旧起作用的话，就不能简单的关闭它，而是可以通过配置防火墙的过滤规则，即将hadoop需要监听的那些端口配置到防火墙接受规则中。
  • 安装VSFTP（FTP服务器软件）：yum –y install vsftpd，PS：FTP端口号为20、21。
  • 本地安装FlashFXP（FTP软件）：支持本地文件系统和服务器文件系统的文件互传。
  • 本地安装SecureSRT（支持SSH的终端仿真程序）：用于连接Linux。
  • 网络配置：修改主机名，修改ip，修改hosts文件（用来配置主机将用的DNS服务器信息，将集群中的所有机器的IP与主机名添加，这样就可通过主机名通信）
  • 安装JDK并配置环境变量（/etc/profile）
  • 设置ssh免密码登录：Master生成密码对、设置SSH
  • 解压缩hadoop安装包，并配置环境变量
  • 修改配置文件（$HADOOP_HOME/conf）：hadoop-env.sh（添加java环境变量）  core-site.xml（配置HDFS的地址和端口号）  hdfs-site.xml（配置HDFS，默认副本为3） mapred-site.xml（配置MapReduce，配置JobTracker的地址和端口）
  • 格式化hdfs文件系统 （hadoop namenode -format）
  • 启动hadoop （$HADOOP_HOME/bin/start-all.sh）
  • 使用jps查看进程

2. 列出正常工作的Hadoop集群中，Hadoop都启动哪些进程，描述功能

  • NameNode: HDFS的守护进程，负责记录文件是如何分割成数据块，以及这些数据块分别被存储到那些数据节点上，它的主要功能是对内存及IO进行集中管理
  • Secondary NameNode：辅助后台程序，与NameNode进行通信，以便定期保存HDFS元数据的快照。
  • DataNode：负责把HDFS数据块读写到本地的文件系统。
  • JobTracker：负责分配task，并监控所有运行的task。
  • TaskTracker：负责执行具体的task，并与JobTracker进行交互

3. 启动时报如下错误如何解决

ERROR org-apache.hadoop.hdfs-server.namenode.NameNode org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:   Direction /tmp/Hadoop-root/dfs/name is in an inconsisrtent state: storage directory dose not existent or is not accessible.

…...

问题分析：NameNode没有正常启动

解决方法：

① hadoop namenode –format(格式化namenode):如果每次都要执行这个命令才能启动namenode,那是万万不行的

② /tmp目录下的文件是临时文件，hadoop会将各种信息存到/tmp下，便会被定期清除，为避免这种情况，在hdfs-site.xml中添加属性dfs.name.dir设置值为想存的目录。

4. Hadoop命令（进入Hadoop_HOME目录，/etc/profile中配置）

①启动Hadoop；sh bin/start-all.sh

②关闭Hadoop：sh bin/stop-all.sh

③文件操作 ：sh bin/hadoop fs ...(后面命令操作基本同Linux)

1）查看文件列表

查看hdfs中/user/admin/aaron目录下的文件：sh bin/hadoop fs -ls /user/admin/aaron

2）创建文件目录 

hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录：sh bin/hadoop fs -mkdir /user/admin/aaron/newDir

3）删除文件 

删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件:sh bin/hadoop fs -rm /user/admin/aaron/needDelete

删除hdfs中/user/admin/aaron目录以及该目录下的所有文件 ：sh bin/hadoop fs -rmr /user/admin/aaron

4）上传文件 

上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下：sh bin/hadoop fs –put /home/admin/newFile/user/admin/aaron/

5）下载文件 

下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中 ：sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile

④MapReduce Job操作 

1）提交MapReduce Job

运行一个/home/admin/hadoop/job.jar的MapReduce Job：sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

2）杀死某个正在运行的Job：（hadoop job -list, 假设Job_Id为：job_201005310937_0053）sh bin/hadoop job -kill job_201005310937_0053

⑤添加datanode节点（在datanode中启动执行启动datanode命令）：sh hadoop-daemon.sh start datanode 

⑥删除datanode节点（namenode上）：sh hadoop dfsadmin  -refreshServiceAcl

 5. Hadoop调度器

Hadoop调度器将系统中空闲的资源按一定策略分配给作业，比较流行的三种调度器有：默认调度器FIFO，计算能力调度器Capacity Scheduler，公平调度器Fair Scheduler

①默认调度器FIFO

hadoop中默认的调度器，采用先进先出的原则，按照到达时间的先后选择被执行的作业。

② 计算能力调度器Capacity Scheduler

支持多个队列，作业先按照运行任务数和计算资源的比值选择小（资源占用少）的队列，在每个队列里在按照FIFO调度策略。

③ 公平调度器Fair Scheduler

每个队列中的资源可配置，同一队列中的作业公平共享队列中所有资源

6. 当前日志采样格式为

a,b,c,d

b,b,f,e

a,a,c,f

写出MapReduce程序，计算第四列每个元素出现的个数

 1 package org.apache.hadoop.WordCount1;  2 
 3 import java.io.IOException;  4 
 5 import org.apache.hadoop.conf.Configuration;  6 
 7 import org.apache.hadoop.fs.Path;  8 
 9 import org.apache.hadoop.io.IntWritable;  10 
 11 import org.apache.hadoop.io.Text;  12 
 13 import org.apache.hadoop.mapreduce.Job;  14 
 15 import org.apache.hadoop.mapreduce.Mapper;  16 
 17 import org.apache.hadoop.mapreduce.Reducer;  18 
 19 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  20 
 21 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  22 
 23 import org.apache.hadoop.util.GenericOptionsParser;  24 
 25 public class WordCount {  26 
 27 　　public static class MyMapper  28 
 29 　　　　　　extends Mapper<Object, Text, Text, IntWritable>{  30 
 31 　　　　　　public void map(Object key, Text value, Context context)  32 
 33 　　　　　　　　throws IOException, InterruptedException {  34 
 35 　　　　　　　　String[] split = value.toString().split("\t");  36                     
 37                     for(String word:split){  38 
 39 　　　　　　　　context.write(split[3], 1);  40                       
 41  }  42 
 43 　　　　　　}  44 
 45 　　　　}  46 
 47 　　}  48 
 49 　　public static class MyReducer  50 
 51 　　　　　　extends Reducer<Text,IntWritable,Text,IntWritable> {  52 
 53 　　　　　　private IntWritable result = new IntWritable();  54 
 55 　　　　　　public void reduce(Text key, Iterable<IntWritable> values,Context context)  56 
 57 　　　　　　　　　　 throws IOException, InterruptedException {  58 
 59 　　　　　　　　int sum = 0;  60 
 61 　　　　　　　　for (IntWritable val : values) {  62 
 63 　　　　　　　　　　　sum += val.get();  64 
 65 　　　　　　　　}  66 
 67 　　　　　　result.set(sum);  68 
 69 　　　　　　context.write(key, result);  70 
 71 　　　　}  72 
 73 　　}  74 
 75  
 76 
 77 　　public static void main(String[] args) throws Exception {  78 
 79 　　　　Configuration conf = new Configuration();  80 
 81 　　　　Job job = new Job(conf, "word count");  82 
 83        job.setJarByClass(WordCount1.class);  84 
 85 　     job.setMapperClass(MyMapper.class);  86 
 87 　　　　job.setReducerClass(MyReducer.class);  88 
 89 　　　　job.setOutputKeyClass(Text.class);  90 
 91 　　　　job.setOutputValueClass(IntWritable.class);  92 
 93 　　　　FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  94 
 95 　　　　FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  96 
 97 　　　　JobClient.runJob(conf);  98 }  99 
100 }

7. 你认为用Java、Streaming、pipe方式开发MapReduce。各有哪些优缺点

Java:可实现复杂逻辑,编程繁琐

Streaming：优点：支持多种语言编写程序，直接;缺点：细节无法控制（不能写自定义的partitioner, combiner,writablecomparable等），慢（交换过程不如Java API直接）

Pipe: 允许C++程序员编写mapreduce程序，它允许用户混用C++和Java的RecordReader， Mapper， Partitioner，Rducer和RecordWriter等五个组件。

Hadoop Streaming：

http://dongxicheng.org/mapreduce/hadoop-streaming-programming/

Hadoop Pipes:

http://dongxicheng.org/mapreduce/hadoop-pipes-programming/

8. Hive有哪些方式保存元数据，各有哪些特点（连接到数据库的三种模式及存储方式）

Hive的metastore组件是hive元数据集中存放地。Metastore组件包括两个部分：metastore服务和后台数据的存储。后台数据存储的介质就是关系数据库，例如hive默认的嵌入式磁盘数据库derby，还有mysql数据库。Metastore服务是建立在后台数据存储介质之上，并且可以和hive服务进行交互的服务组件。

1) 单用户模式：内存数据库derby，较小，不常用

2) 多用户模式：本地MySQL，较常用

3) 远程服务器模式：远程mysql，不常用

9. Hadoop实现join的几种方法

1) reduce side join

reduce side join是一种最简单的join方式，其主要思想如下：

在 map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签（tag）,比 如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段的主要任务是对不同文件中的数据打标签。

在reduce阶段，reduce函数获取key相同的来自File1和File2文件的value list， 然后对于同一个key，对File1和File2中的数据进行join（笛卡尔乘积：在数学中，两个集合X和Y的笛卡尓积表示为X × Y，第一个对象是X的成员而第二个对象是Y的所有可能的有序对的其中一个成员。假设集合A={a, b}，集合B={0, 1, 2}，则两个集合的笛卡尔积为{(a, 0), (a, 1), (a, 2), (b, 0), (b, 1), (b, 2)}）。即：reduce阶段进行实际的连接操作。

2) map side join

之所以存在reduce side join，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中。Reduce side join是非常低效的，因为shuffle阶段要进行大量的数据传输。

Map side join是针对以下场景进行的优化：两个待连接表中，有一个表非常大，而另一个表非常小，以至于小表可以直接存放到内存中。这样，我们可以将小表复制多份，让每个map task内存中存在一份（比如存放到hash table中），然后只扫描大表：对于大表中的每一条记录key/value，在hash table中查找是否有相同的key的记录，如果有，则连接后输出即可。

PS：MySQL Join

① Inner Join：SELECT * FROM TableA INNERJOIN TableB

产生的结果是A、B表的交集

②Full Outer join：SELECT * FROM TableA FULLOUTER JOIN TableB

产生的结果是A、B表的并集，对于没有匹配的记录，则会以null做为值

③Left outer join

SELECT * FROM TableA LEFTOUTER JOIN TableB ONTableA.name =TableB.name产生A的完全集，B中匹配的则有值，没匹配的NULL取代

SELECT* FROM TableA LEFTOUTER JOIN TableB ONTableA.name=TableB.nameWHERE TableB.id IS null

产生在A表有在B表没有的集合

SELECT * FROM TableA FULLOUTER JOIN TableB ONTableA.name =TableB.nameWHERE TableA.id IS null ORTableB.id IS null

产生A表和B表都没有出现的 即AB表除了交集的集合

10. Hadoop怎样实现二级排序

在Hadoop中，默认情况下是按照key进行排序，如果要按照value进行排序怎么办？

有两种方法进行二次排序，分别为：buffer and in memory sort和 value-to-key conversion。

buffer and in memory sort

主要思想是：在reduce()函数中，将某个key对应的所有value保存下来，然后进行排序。 这种方法最大的缺点是：可能会造成out of memory。

value-to-key conversion

主要思想是：将key和部分value拼接成一个组合key（实现WritableComparable接口或者调 setSortComparatorClass函数），这样reduce获取的结果便是先按key排序，后按value排序的结果，需要注意的是，用户需要自己实现Paritioner，以便只按照key进行数据划分。Hadoop显式的支持二次排序，在Configuration类中有个 setGroupingComparatorClass()方法，可用于设置排序group的key值

http://dongxicheng.org/mapreduce/hadoop-join-two-tables/

标签：

相关文章