hadoop的伪分布安装步骤

时间:2022-12-30 14:25:22

2. hadoop的伪分布安装步骤

使用root用户登陆

2.1 设置静态ip

   在centos桌面右上角的图标上,右键修改。

   重启网卡,执行命令service  network  restart

       验证:执行命令ifconfig

2.2 修改主机名

       <1> 修改当前会话中的主机名,执行命令 hostname hadoop

       <2> 修改配置文件中的主机名,执行vi  /etc/sysconfig/network,改成:

验证:重启机器 

vi回顾:

vi(vim)  只读不能写

              编辑 能读 也能写

              按Esc键,然后按Shint+:组合键,输入wq保存退出

              命令,需要执行命令

2.3 把主机名和ip绑定

       执行命令 vi /etc/hosts 增加一行内容,如下:

       192.168.153.130  hadoop

       保存退出。

       验证:ping hadoop

2.4 关闭防火墙

执行 service iptables stop

验证:service iptablesstatus

2.5 关闭防火墙的自动运行

执行命令 chkconfigiptables off

验证: chkconfig  --list | grep iptables

2.6 SSH(service shell)

         <1> 执行命令 ssh-keygen –t rsa 产生密钥,位于~/.ssh文件夹中

什么都不用输入,一直按回车

<2>执行命令 cp~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证:ssh localhost

敲入yes

 

2.7 安装jdk

网上教程1.7:http://www.cnblogs.com/rilley/archive/2012/02/02/2335395.html

截图:

网上安装1.6的教程:http://www.centoscn.com/image-text/2013/0418/319.html

具体步骤:

<1> 执行命令 rm –rf/usr/local/* 删除所有内容

<2> 使用winscp把jdk文件从windows复制到/usr/local目录下

<3> 执行命令 chmod u+x jdk-… 赋予执行权限

<4> 执行命令 ./jdk-… 加压缩

<5> 执行命令 mv jdk1.6.0_24jdk

<6> 执行命令 vi/etc/profile 设置环境变量,增加了2行内容

           export JAVA_HOME=/usr/local/jak

           export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

执行 source /etc/profile生效

<7> 验证:java –version

2.8 安装hadoop

       <1>执行命令 tar –zxvf hadoop-1.1.2.tar.gz进行解压缩

       <2>执行命令 mv hadoop-1.1.2 hadoop

<3>执行命令 vi/etc/profile 设置环境变量,增加了一行内容

       export HADOOP_HOME=/usr/local/hadoop

       修改了一行内容

exportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

<4>修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下的hadoop-env.sh

, core-site.xml, hdfs-site.xml, mapred-site.xml

具体修改见PPT

【hadoop-env.sh】修改内容如下(修改第9行)

exportJAVA_HOME=/usr/local/jdk

【core-site.xml】修改内容如下

<configuration>

    <property>

       <name>fs.default.name</name>

       <value>hdfs://hadoop0:9000</value>(改为自己的主机名:hadoop)

        <description>change your ownhostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

       <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

【hdfs-site.xml】修改内容如下

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

       <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

【mapred-site.xml】修改内容如下

<configuration>

    <property>

       <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>(改为自己的主机名:hadoop)

        <description>change your ownhostname</description>

    </property>

</configuration>

<5>执行命令hadoop namenode –fromat 对hadoop进行格式化

<6>执行命令 start-all.sh启动

验证:(1)执行jps,发现有5个java进程,分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.

(2)通过linux下的浏览器 http://hadoop:50070http://hadoop:50030访问

***可以修改windows系统下的C:\Windows\System32\drivers\etc文件夹中的hosts

文件,增加:192.168.153.130 hadoop,即可完成windows下的访问***

2.9 NameNode进程没有启动成功?

       (1)没有格式化

       (2)配置文件只copy,不修改

       (3)hostname与ip没有绑定

       (4)ssh免密码登陆没有配置成功

3.0 多次格式化hadoop也是错误的?

       方法:删除/usr/local/hadoop/tmp文件夹,重新格式化

3.1 去除hadoop的启动过程中警告信息

       使用命令 vim /etc/profile打开profile,增加一行

export HADOOP_HOME_WARN_SUPPRESS=1

保存退出,利用命令source /etc/profile 使其生效

验证:

使用命令start-all.sh 启动

warning已经消失!