centos 安装 hadoop2.8.2

时间:2024-04-10 15:44:50

首先安装hadoop前要先安装jdk:

http://blog.csdn.net/qq_34954457/article/details/78446038点击打开链接

hadoop下载链接:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

通过wget就能够下载

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

首先要先解压hadoop

tar -zxvf hadoop-2.8.2.tar.gz

把下载包删除节省空间

rm -f hadoop-2.8.2.tar.gz

把文件移动到local目录下

mv hadoop-2.8.2/ /usr/local/hadoop

下面要更改配置文件了(更改公共的配置文件)

vim /usr/local/hadoop/etc/hadoop/core-site.xml


<configuration>

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://主机ip:9000/</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/data/</value>
        </property>


</configuration>

centos 安装 hadoop2.8.2


配置hdfs运行文件 hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>        

</configuration>

centos 安装 hadoop2.8.2

配置yum文件(mapred-site.xml.template)

先要更改文件名字,要不然无法运行

mv /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

centos 安装 hadoop2.8.2

配置yarn文件(yarn-site.xml)

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>主机ip</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>

centos 安装 hadoop2.8.2

配置下jdk环境变量

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME

更改为自己的路径:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64

centos 安装 hadoop2.8.2



另外如果是阿里云服务器别忘了把安全组中的端口打开

centos 安装 hadoop2.8.2

可以启动hadoop了

进入到hadoop的目录下

cd /usr/local/hadoop/bin/

第一次要格式化hadoop

./hadoop namenode -format

centos 安装 hadoop2.8.2

这句话出现就代表格式化成功了

cd ..

cd sbin/

格式完就可以启动了

./start-dfs.sh
centos 安装 hadoop2.8.2

./start-yarn.sh

或者直接用./start-all.sh启动


http://ip:50070就可以进入了

hdfs管理界面 50070
yarn管理界面 8088


好了,这就算成功了!

无密登入:http://blog.csdn.net/qq_34954457/article/details/78447030点击打开链接