(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

时间:2023-04-06 09:53:27

前言

本节内容我们主要是总结一下hadoop集群中常用的一些命令,以及通过自定义脚本,实现hadoop集群的启动、停止、状态查询等,便于hadoop集群的使用。

正文

  • hadoop常用命令
hadoop模块命令
命令 功能
start-dfs.sh 启动HDFS
stop-dfs.sh 停止HDFS
start-yarn.sh 启动YARN
stop-yarn.sh 停止YARN
hadoop组件命令
命令 功能
hdfs --daemon start namenode 启动NameNode
hdfs --daemon stop namenode 关闭NameNode
hdfs --daemon start datanode 启动DataNode
hdfs --daemon stop datanode 关闭DataNode
hdfs --daemon start secondarynamenode 启动2NN
hdfs --daemon stop secondarynamenode 关闭2NN
yarn --daemon start resourcemanager 启动ResourceManager
yarn --daemon stop resourcemanager 关闭ResourceManager
yarn --daemon start nodemanager 启动NodeManager
yarn --daemon stop nodemanager 关闭NodeManager
  • 集群启停自定义脚本

①查看hadoop集群环境变量配置

echo $PATH

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

②使用vi编辑器在hadoop的sbin可执行目录创建一个hadoop集群自定义脚本myhadoop.sh

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
"status")
 echo " =================== 查看 hadoop 集群状态 ==================="
 for host in hadoop101 hadoop102 hadoop103
 do
   echo =============== $host ===============
   ssh $host jps
 done
;;
*)
 echo "Input Args Error..."
;;
esac

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

③授予myhadoop.sh可执行权限

chmod +x myhadoop.sh 

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

④分发myhadoop.sh脚本到其它服务器

hsync myhadoop.sh

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

⑤在任意一台服务器测试自定义集群脚本

- 启动集群:myhadoop.sh start

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

- 停止集群:myhadoop.sh stop

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

- 查看集群状态:myhadoop.sh status

(十)大数据实战——hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建

结语

至此,关于hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建到这里就结束了,我们下期见。。。。。。