相关文章链接
CentOS6安装各种大数据软件 第二章：Linux各个软件启动命令
CentOS6安装各种大数据软件 第三章：Linux基础软件的安装
CentOS6安装各种大数据软件 第四章：Hadoop分布式集群配置
CentOS6安装各种大数据软件 第五章：Kafka集群的配置
CentOS6安装各种大数据软件 第六章：HBase分布式集群的配置
CentOS6安装各种大数据软件 第七章：Flume安装与配置
CentOS6安装各种大数据软件 第八章：Hive安装和配置
CentOS6安装各种大数据软件 第九章：Hue大数据可视化工具安装和配置
CentOS6安装各种大数据软件 第十章：Spark集群安装和部署
1. 同步时间的命令
查看时间命令：date
网络同步时间命令：ntpdate ntp1.aliyun.com / ntpdate cn.pool.ntp.org
同步固定时间命令：date -s "2018-07-30 14:03:03"
2. 防火墙等相关命令
#临时关闭防火墙
service iptables stop
#检测防火墙是否关闭
service iptables stop
#将防火墙设置为开启不启动
chkconfig iptables off
#修改config文件中的SELINUX=disabled
vi /etc/selinux/config
SELINUX=disabled
3. Zookeeper软件启动命令
在Zookeeper的安装目录的bin文件夹下，启动zkServer.sh start即可
环境变量配置如下：
export ZK_HOME=/export/servers/zookeeper-3.4.9
export PATH=${ZK_HOME}/bin:$PATH
4. Hadoop软件启动命令
4.1. 格式化HDFS文件系统
在Hadoop的安装目录下执行此命令：./bin/hdfs namenode –format
4.2. 启动HDFS
我们现在将一个节点上的HDFS文件系统配置完成和格式化完成了,接下来,我们启动HDFS文件系统
#启动namenode
./sbin/hadoop-daemon.sh start namenode
#启动datanode
./sbin/hadoop-daemon.sh start datanode
#启动之后可以在50070的web界面进行查看
4.3. 启动yarn
#启动resourcemanager
./sbin/yarn-daemon.sh start resourcemanager
#启动nodemanager
./sbin/yarn-daemon.sh start nodemanager
#启动之后可以在8088的web界面进行查看
4.4. 一键启动和停止
在sbin目录下执行如下命令：
./start-all.sh
./stop-all.sh
5. Kafka软件启动命令
5.1. 直接启动，当窗口关闭后结束进程
cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties
5.2. 以守护进程的方式启动kafka，窗口关闭后能使用kafka
kafka-server-start.sh -daemon /export/servers/kafka/config/server.properties
5.3. 启动kafka-manage页面显示工具
./kafka-manager -Dconfig.file=../conf/application.conf
6. HBase软件启动命令
6.1. 逐个服务器节点启动HBase
#在节点1的HBase安装目录的bin目录下启动HBase Master
./hbase-daemon.sh start master
#在三节点启动regionserver
./hbase-daemon.sh start regionserver
6.2. 一键启动
#在HBase的bin目录下执行如下命令
./start-hbase.sh
6.3. 通过一键启动脚本启动HBase
starthbase.sh
7. Flume启动命令
7.1. 逐个服务器节点启动Flume
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定 flume 自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个 agent 的名字
7.2. 通过一键启动脚本启动Flume
startflume.sh
8. hive启动命令
在/export/servers/hive/bin目录下，启动hiveserver2服务即可：
./hiveserver2
hive的一键启动命令：
starthiveserver2.sh
9. Hue启动命令
在/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin目录下执行hue的启动命令：
./supervisor
如果hue集成hbase，需在/export/servers/hbase/bin目录下启动thrift服务：
hbase-daemon.sh start thrift
10. Spark启动命令
10.1. 普通spark启动命令如下
在spark安装目录的sbin目录下执行如下命令：./start-all.sh
10.2. 高可用spark启动命令如下
在节点一的spark安装目录的sbin目录下执行如下命令：./sbin/start-all.sh
在节点二的spark安装目录的sbin目录下执行如下命令：./sbin/start-master.sh
10.3. 注意
因为此配置中，spark集成了hive和hbase等操作，所以在如果要运行spark-shell，需要先启动hbase和hive，特别是hive，需启动3个服务，一个hive主服务，一个hive的其他连接服务，一个hive和spark集成的服务，如下所示：
在hive的跟目录下：bin/hiveserver2
在hive的跟目录下：bin/hive --service metastore
11. 需在命令行窗口启动的服务
hue服务：/export/servers/hue-3.7.0-cdh5.3.6/build/env/bin/supervisor
hive和spark关联服务：/export/servers/hive/bin/hive --service metastore