Hadoop 启动与停止

hadoop启动

一、启动hadoop集群，需要启动hdfs和yarn
　　第一次启动hdfs，必须要格式化，格式化分布式文件系统作为HDFS：

　　[hdfs]$ $HADOOP_PREFIX/bin/hdfs namenode -format <cluster_name>

二、启动hdfs

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode

三、启动datanode

　　[hdfs]$ $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode

如果 etc/hadoop/slaves 和 ssh配置了相互访问 (see Single Node Setup), 所有hdfs可以使用下面命令

　　[hdfs]$ $HADOOP_PREFIX /sbin/start-dfs .sh

四、启动yarn用下面命令，在指定的ResourceManager作为yarn

　　[yarn]$ $HADOOP_YARN_HOME /sbin/yarn-daemon .sh --config $HADOOP_CONF_DIR start resourcemanager

　　运行下面命令在指定的客户端作为yarn启动NodeManager

　　[yarn]$ $HADOOP_YARN_HOME /sbin/yarn-daemons .sh --config $HADOOP_CONF_DIR start nodemanager

　　启动独立WebAppProxy server. 运行 WebAppProxy server作为yarn.如果多台服务器使用负载均衡，则每台都需运行

　　[yarn]$ $HADOOP_YARN_HOME /sbin/yarn-daemon .sh --config $HADOOP_CONF_DIR start proxyserver

如果etc/hadoop/slaves和ssh配置，启动脚本如下：

　　[yarn]$ $HADOOP_PREFIX /sbin/start-yarn .sh

五、启动MapReduce JobHistory Server

 
  　　[mapred]$ $HADOOP_PREFIX 
  /sbin/mr-jobhistory-daemon.sh start historyserver 
   --config $HADOOP_CONF_DIR start historyserver 
 
  hadoop停止

一、停止namenode，用下面命令

　　[hdfs]$ $HADOOP_PREFIX /sbin/hadoop-daemon .sh --config $HADOOP_CONF_DIR --script hdfs stop namenode

二、停止datanode，用下面命令

　　[hdfs]$ $HADOOP_PREFIX /sbin/hadoop-daemons .sh --config $HADOOP_CONF_DIR --script hdfs stop datanode

如果etc/hadoop/slaves 和 ssh配置相互访问，用下面脚本停止：

　　[hdfs]$ $HADOOP_PREFIX/sbin/stop-dfs.sh

三、停止ResourceManager用下面命令

　　[yarn]$ $HADOOP_YARN_HOME /sbin/yarn-daemon .sh --config $HADOOP_CONF_DIR stop resourcemanager

　　运行脚本停止NodeManager

 
  　　[yarn]$ $HADOOP_YARN_HOME 
  /sbin/yarn-daemons 
  .sh --config $HADOOP_CONF_DIR stop nodemanager 
 
  如果etc/hadoop/slaves 和 ssh配置相互访问，则运行下面脚本： 
 
   　　[yarn]$ $HADOOP_PREFIX 
   /sbin/stop-yarn 
   .sh 
  
    三、停止WebAppProxy server。运行WebAppProxy，如果多台服务器使用负载平衡，则每一个都运行。 
  
    　　[yarn]$ $HADOOP_YARN_HOME 
    /sbin/yarn-daemon 
    .sh --config $HADOOP_CONF_DIR stop proxyserver 
   
     四、停止MapReduce JobHistory Server，使用下面命令 
   
     　　[mapred]$ $HADOOP_PREFIX 
     /sbin/mr-jobhistory-daemon.sh start historyserver 
      --config $HADOOP_CONF_DIR stop historyserver

Web Interfaces

Daemon	Web Interface	Notes
NameNode	http://nn_host:port/	Default HTTP port is 50070.
ResourceManager	http://rm_host:port/	Default HTTP port is 8088.
MapReduce JobHistory Server	http://jhs_host:port/	Default HTTP port is 19888.

　　　　　　　　　　　　8088端口查看集群信息，50070端口查看HDFS信息。

　　　　　　　　　　　　Hadoop 2.2.x以后，50030已经不再使用。

秒客网

Hadoop 启动与停止

相关文章