验证hadoop集群构建成功
Step_1:通过Master节点格式化集群的文件系统:
Step_2:启动hadoop集群:
Step_3:停止Hadoop集群:
此时出现"no datanode to stop"的错误。出现这个错误的原因是:每次使用“hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId,而在搭建hadoop单机伪分布式版本的时候,创建的tmp目录下存放了数据,只需要把各台机器上的"/usr/local/hadoop/hadoop-1.2.1/"下面的tmp及其子目录的内容,以及该目录下hsfs文件夹中的data和name文件夹中的内容清空即可!
删除/tmp目录操作截图:
删除/hdfs目录下data和name文件夹操作截图:
Step_4:再次通过Master节点格式化集群的文件系统并启动Hadoop服务
Step_5:服务启动成功,进入Master的Web控制台:
如上图所示,Live Nodes只有三个,这个和预期一致,因为Master、Slave1、Slave2都设置成为DataNode,Master本身同时也是NameNode。
Step_6:通过jps命令查看三台机器进程,截图如下:
如果上述操作都成功的话,说明Hadoop集群构建完毕!
基于上述步骤,不要关闭hadoop服务,执行如下步骤!
在集群行运行wordcount实例:
Step_1:在dfs上创建input目录:
Step_2:把本地目录中的内容复制到dfs目录中:
Step_3:运行wordcount程序:
Step_4:运行成功后,打开Slave2的文本控制台,查看生产的文件目录中包含的文件:
Step_5:查看生成的output的文件信息:
通过上诉操作,证明hadoop集群环境构建成功,且能成功运行程序!
至此关于搭建hadoop分布式集群的讲解在这也结束了!如果有什么问题,可以私信!