本文原创，如需转载，请注明作者和原文链接
1、集群搭建的前期准备 见 搭建分布式hadoop环境的前期准备---需要检查的几个点
2、解压tar.gz包
[root@node01 ~]# cd software/
[root@node01 software]# ll
总用量
-rw-r--r-- root root 2月 hadoop-2.6..tar.gz
[root@node01 software]# tar xf hadoop-2.6..tar.gz -C /opt/sxt/
[root@node01 software]# cd /opt/sxt/
[root@node01 sxt]# ll
总用量
drwxr-xr-x root root 5月 hadoop-2.6.
3、HADOOP_HOME环境变量的配置
[root@node01 hadoop-2.6.]# vi + /etc/profile
结果如图
配置完毕之后，要重新的去读取一下这个文件
[root@node01 hadoop-2.6.]# source /etc/profile
4、java环境变量配置文件的配置
转到目录，注意点：hadoop启动 的时候只会去加载这个目录下的配置文件，如果这个目录下有其他的文件夹的话，没有影响
JAVA_HOME的环境变量的二次设置（原因：因为你启动集群的时候的话，你如果不在这个hadoop的文件下设置某些项的话，他会去找你默认本地的java的配置路径，他会找Local ，但是由于是集群启动，根本没有Local这一说，所以你要在一些配置文件中去配置java的路径，让之启动的时候能够找到，如果你不二次配置的话，可能会出现 java command not found）
配置1: hadoop-env.sh 如果你是只是安装HDFS的话，只改这个配置文件就可以了，但是如果之后会用到mapreduce、yarn等，也需要第二三步的配置
[root@node01 hadoop]# vi hadoop-env.sh
配置2： mapred-env.sh
[root@node01 hadoop]# vi mapred-env.sh
配置3： yarn-env.sh
[root@node01 hadoop]# vi yarn-env.sh
结果
5 hadoop的结点及副本配置文件配置
参考hadoop官网即可
Pseudo-Distributed Operation
Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process. Configuration
Use the following: etc/hadoop/core-site.xml:
------------------------------------------------------------------------- <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml: <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置1：core.env.xml
[root@node01 hadoop]# vi core-site.xml
配置2：
[root@node01 hadoop]# vi hdfs-site.xml
6、第五步配置的是NameNode的配置，这里需要去配置DataNode和SecondaryNameNode了
配置DataNode：slaves
[root@node01 hadoop]# vi slaves
配置第二主节点：默认是配置在 hdfs-site.xml 中的 ,第二个dfs.namenode.secondary.http-adress中的值：是第二主节点在的ip和以及端口号
7、更改主结点，从结点的数据的存储位置。因为不更改的话默认是一个临时的文件夹，这样的话，系统可能不会经过你的允许就会删除这个文件！！
[root@node01 hadoop]# vi core-site.xml
从此所有的配置完成，但是仍需要格式化namenode，生成fsimage文件
8、生成fsimage文件
格式化之前：
格式化命令
[root@node01 hadoop]# hdfs namenode -format #就是为了生成一个fsimage文件
格式化完成
出现
// :: INFO common.Storage: Storage directory /var/sxt/hadoop/pseudo/dfs/name has been successfully formatted.
代表格式化成功
格式化之后，会生成一个目录和一些文件name .内容包括唯一ID、镜像文件等，(特别需要注意的是这个文件所在的位置自己在core-site.xml配置的属性hadoop.tmp.dir的值中设置的),而且在格式化主结点完毕之后。只会生成主结点的数据文件name，，对于从结点和第二主结点的数据文件(data、secondaryNameNode)是当集群启动的时候才会产生的
如下图：
其中包含：fsimage镜像文件，如sfiamge_00000000000
clusterID:集群的唯一标识的ID 这个ID是供集群使用的，集群中的每一个结点都有这样的一个集群ID，而且是一样的，如果不一样的话，就不代表是隶属于一个集群了，特别的需要注意的是：对于集群之前的namenode格式化,只能进行一次，因为进行多次的话，会导致每次都会产生一个新的clusterID，只是主结点的clusterID变了而其他的结点的并没有变，这样的话会导致整个集群启动的时候，一部分启动不起来，只要是集群ID不一样的，就不会启动，这就是多次格式化产生的问题！！！！
注意 ：格式化的时候只会产生一个主结点的数据文件夹,name，具体的DataNode和第二主结点的文件夹是在启动集群的时候才会产生的！！！！
到此为止，所有的配置完成，可以启动集群了
启动集群
[root@node01 hadoop-2.6.]# start-dfs.sh
遇见的问题
hadoop伪分布式集群启动出现错误[root@node01 hadoop-2.6.5]# start-dfs.sh
Starting namenodes on [node01] The authenticity of host 'node01 (::1)' can't be established.
ECDSA key fingerprint is SHA256:hCsbjhUULX1rayvyVwh4EVZzIh49utgmghXRynCvVDE. ECDSA key fing
自己不知道是什么问题，jps进程查询也只有DataNode和SecondaryNameNode两个，没有主结点进程，之后从新的启动了一些集群，就有nameNode进程了，
如果有大佬知道的话，还请下方评论，告诉小白我哦，谢谢啦。
下面是第二次启动的时候并没有关闭第一次启动的集群出现的问题：让我们先关闭DataNode和secondaryNamenode两个结点
启动完毕之后，再次转到hadoop.tmp.dir的值指向的那个目录，就会多data和secondaryNameNode两个文件夹了，这分别是针对从结点和第二主节点的文件夹，具体看下图效果
特别需要注意的是：所有的结点的clusterID的值都应该是一样的，因为隶属于同一个集群。因为所有的结点都属于同一个集群，所以才会在集群启动的时候每个结点以不同的进程进行显示
- 具体的从结点中有无数据可以从下面的目录中来看
[root@node01 dfs]# cd data/ #这里的data代表的是从结点
[root@node01 data]# ll
总用量
drwxr-xr-x root root 9月 : current
[root@node01 data]# cd current/
[root@node01 current]# ll
总用量
drwx------ 4 root root 72 9月 20 14:23 BP-782039128-127.0.0.1-1568949808230
-rw-r--r-- root root 9月 : VERSION
[root@node01 current]# cd B*
[root@node01 BP--127.0.0.1-]# ll
总用量
drwxr-xr-x root root 9月 : current
-rw-r--r-- root root 9月 : dncp_block_verification.log.curr
drwxr-xr-x root root 9月 : tmp
[root@node01 BP--127.0.0.1-]# cd current/
[root@node01 current]# ll
总用量
-rw-r--r-- root root 9月 : dfsUsed
drwxr-xr-x 2 root root 6 9月 20 14:23 finalized
drwxr-xr-x root root 9月 : rbw
-rw-r--r-- root root 9月 : VERSION
[root@node01 current]# cd finalized/
[root@node01 finalized]# ll
总用量 0
[root@node01 finalized]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP--127.0.0.1-/current/finalized
- 一般的集群还会提供一个可视化的管理界面：浏览器访问我们的集群中的HDFS系统的话，默认的浏览器访问集群的端口是50070，而不是9000,9000是结点之间通信的端口
通过浏览器访问自己的集群：http://结点的ip地址或者别名:50070/ 如：http://192.168.27.102:50070/
结果界面
下面来查看自己的集群中的内容：但是还没向集群中上传文件，如果想要上传文件的话，需要先在nameNode的位置创建一个存放数据文件块的路径
未创建之前，从浏览器中存储的内容为空
创建的过程
[root@node01 sbin]# hdfs dfs -mkdir -p /user/root 如果不清楚hdfs的命令的话：可以用命令查询 见下面
之后的结果
最后就可以向自己搭建起来的集群中上传数据文件了
上传命令语法
#上传文件
[root@node01 software]# ll
总用量 179292
-rw-r--r-- 1 root root 183594876 2月 26 2019 hadoop-2.6.5.tar.gz
[root@node01 software]# hdfs dfs -put hadoop-2.6.5.tar.gz /user/root
成功
注意点：具体上传的这个文件不是整个的存储的，而是以块的形式存储的，这次上传文件总的大小是175M，所以会分成两块，一个默认的是128M，另一个是175-128M
块0
块1
控制台查看，块的存储形式
drwxr-xr-x root root 9月 : pseudo
[root@node01 hadoop]# cd pseudo/
[root@node01 pseudo]# ll
总用量
drwxr-xr-x root root 9月 : dfs
[root@node01 pseudo]# cd dfs/
[root@node01 dfs]# ll
总用量
drwx------ root root 9月 : data
drwxr-xr-x root root 9月 : name
drwxr-xr-x root root 9月 : namesecondary
[root@node01 dfs]# cd data/
[root@node01 data]# ll
总用量
drwxr-xr-x root root 9月 : current
-rw-r--r-- root root 9月 : in_use.lock
[root@node01 data]# cd current/
[root@node01 current]# ll
总用量
drwx------ root root 9月 : BP--127.0.0.1-
-rw-r--r-- root root 9月 : VERSION
[root@node01 current]# cd B*
[root@node01 BP--127.0.0.1-]# ll
总用量
drwxr-xr-x root root 9月 : current
-rw-r--r-- root root 9月 : dncp_block_verification.log.curr
-rw-r--r-- root root 9月 : dncp_block_verification.log.prev
drwxr-xr-x root root 9月 : tmp
[root@node01 BP--127.0.0.1-]# cd current/
[root@node01 current]# ll
总用量
-rw-r--r-- root root 9月 : dfsUsed
drwxr-xr-x root root 9月 : finalized
drwxr-xr-x root root 9月 : rbw
-rw-r--r-- root root 9月 : VERSION
[root@node01 current]# cd finalized/
[root@node01 finalized]# ll
总用量
drwxr-xr-x root root 9月 : subdir0
[root@node01 finalized]# cd subdir0/
[root@node01 subdir0]# ll
总用量
drwxr-xr-x root root 9月 : subdir0
[root@node01 subdir0]# cd subdir0/
[root@node01 subdir0]# ll
总用量
-rw-r--r-- 1 root root 134217728 9月 20 15:57 blk_1073741825
-rw-r--r-- 1 root root 1048583 9月 20 15:57 blk_1073741825_1001.meta
-rw-r--r-- 1 root root 49377148 9月 20 15:57 blk_1073741826
-rw-r--r-- 1 root root 385767 9月 20 15:57 blk_1073741826_1002.meta
[root@node01 subdir0]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP--127.0.0.1-/current/finalized/subdir0/subdir0
[root@node01 subdir0]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP-782039128-127.0.0.1-1568949808230/current/finalized/subdir0/subdir0
其中的 blk_1073741825 块就是我们的block0 blk_1073741826 是block1， blk_1073741825_1001.meta和 blk_1073741826_1002.meta 是两个块的元数据信息，用于验证块的完整性用的
至此，整个伪分布式集群的搭建完成！！！