Hadoop学习笔记二

时间:2023-01-09 09:46:06

一、设置无密码sudo权限,不用在普通用户和root用户间来回切换

chmod u+w /etc/sudoers

vim /etc/sudoers

#首行添加如下的内容:

hadoop ALL=(root)NOPASSWD:ALL

再执行chmod u-w /etc/sudoers

设置成功,测试: hadoop用户执行sudo service iptables status

二、关闭防火墙,设置主机名等

关闭防火墙: chkconfig iptables offadoop

关闭SELinux:vi /etc/sysconfig/selinux 设置SELINUX=disable

设置IP地址:ifconfig查看那个端口的收发包数量不为0,假设为ifeth0,vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改hostname:vi /etc/sysconfig/network

IP与hosts绑定:vi /etc/hosts

安装JDK并设置环境变量

三、不建议在32位服务器或者windows上部署Hadoop

四、Hadoop可以以下三种方式运行

单机方式,伪分布式方式,完全分布式方式

伪分布式方式(Pseudo-Distributed)有5个独立的进程,NameNode,DataNode,SecondaryNameNode,ResourceManager,NodeManger。

单机模式文件和mr都是在本地文件系统。伪分布式是运行在yarn之上。

五、RPC协议

Remote Procedure Call,远程过程调用协议。客户端发送带参数的请求,等待服务器返回的信息。

Hadoop体系是建立在RPC之上的,类似WebService,Restful,JSON rpc等。

六、四大核心模块:common,hdfs,mapreduce,yarn。对应的hdfs的4个主要的配置文件:core-site.xml,hdfs-site.xml,yarn-site.xml,mapred.xml。

七、第一次启动hadoop之前,需要对namenode 文件系统进行格式化。/bin/hdfs namenode -formate。

八、启动命令:

启动namnode:sbin/hadoop-daemon.sh start namenode

启动datanode:sbin/hadoop-daemon.sh start datanode

启动secondary: sbin/hadoop-daemon.sh start secondarynamenode

启动yarn resourcemanager:/sbin/yarn-daemon.sh start resourcemanager

启动yarn nodemanager:/sbin/yarn-daemon.sh start nodemanager

启动historyserver: /sbin/mr-history-deamon.sh start historyserver

关闭命令。start改为stop即可

运行简单的mapreduce: /bin/hadoop jar share/hadoop/mapredurce/hadoop-mapreduce-examples-2.6.0.jar pi 2 10

九、监控页面

ip:50070对应于HDFS的监控页面。

ip:8088对应于yarn的监控界面。

wordcount程序是2个mapreduce任务

十、MapReduce运行的几种方式

单机模式,运行在本地,输入输出在本地文件系统。

  运行在本地,输入输出在HDFS之上。mapred.xml运行方式为local。是调试MapReduce的常用方式。

运行在yarn之上,输入输出在HDFS之上。mapred.xml运行方式为yarn。