前言
本节内容我们主要是总结一下hadoop集群中常用的一些命令,以及通过自定义脚本,实现hadoop集群的启动、停止、状态查询等,便于hadoop集群的使用。
正文
- hadoop常用命令
命令 | 功能 |
---|---|
start-dfs.sh | 启动HDFS |
stop-dfs.sh | 停止HDFS |
start-yarn.sh | 启动YARN |
stop-yarn.sh | 停止YARN |
命令 | 功能 |
---|---|
hdfs --daemon start namenode | 启动NameNode |
hdfs --daemon stop namenode | 关闭NameNode |
hdfs --daemon start datanode | 启动DataNode |
hdfs --daemon stop datanode | 关闭DataNode |
hdfs --daemon start secondarynamenode | 启动2NN |
hdfs --daemon stop secondarynamenode | 关闭2NN |
yarn --daemon start resourcemanager | 启动ResourceManager |
yarn --daemon stop resourcemanager | 关闭ResourceManager |
yarn --daemon start nodemanager | 启动NodeManager |
yarn --daemon stop nodemanager | 关闭NodeManager |
- 集群启停自定义脚本
①查看hadoop集群环境变量配置
echo $PATH
②使用vi编辑器在hadoop的sbin可执行目录创建一个hadoop集群自定义脚本myhadoop.sh
#!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop 集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" echo " --------------- 启动 yarn ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" echo " --------------- 启动 historyserver ---------------" ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver" ;; "stop") echo " =================== 关闭 hadoop 集群 ===================" echo " --------------- 关闭 historyserver ---------------" ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver" echo " --------------- 关闭 yarn ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" echo " --------------- 关闭 hdfs ---------------" ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh" ;; "status") echo " =================== 查看 hadoop 集群状态 ===================" for host in hadoop101 hadoop102 hadoop103 do echo =============== $host =============== ssh $host jps done ;; *) echo "Input Args Error..." ;; esac
③授予myhadoop.sh可执行权限
chmod +x myhadoop.sh
④分发myhadoop.sh脚本到其它服务器
hsync myhadoop.sh
⑤在任意一台服务器测试自定义集群脚本
- 启动集群:myhadoop.sh start
- 停止集群:myhadoop.sh stop
- 查看集群状态:myhadoop.sh status
结语
至此,关于hadoop常用命令合集及集群启动关停自定义脚本执行脚本构建到这里就结束了,我们下期见。。。。。。