2. hadoop的伪分布安装步骤
使用root用户登陆
2.1 设置静态ip
在centos桌面右上角的图标上,右键修改。
重启网卡,执行命令service network restart
验证:执行命令ifconfig
2.2 修改主机名
<1> 修改当前会话中的主机名,执行命令 hostname hadoop
<2> 修改配置文件中的主机名,执行vi /etc/sysconfig/network,改成:
验证:重启机器
vi回顾:
vi(vim) 只读不能写
编辑 能读 也能写
按Esc键,然后按Shint+:组合键,输入wq保存退出
命令,需要执行命令
2.3 把主机名和ip绑定
执行命令 vi /etc/hosts 增加一行内容,如下:
192.168.153.130 hadoop
保存退出。
验证:ping hadoop
2.4 关闭防火墙
执行 service iptables stop
验证:service iptablesstatus
2.5 关闭防火墙的自动运行
执行命令 chkconfigiptables off
验证: chkconfig --list | grep iptables
2.6 SSH(service shell)
<1> 执行命令 ssh-keygen –t rsa 产生密钥,位于~/.ssh文件夹中
什么都不用输入,一直按回车
<2>执行命令 cp~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证:ssh localhost
敲入yes
2.7 安装jdk
网上教程1.7:http://www.cnblogs.com/rilley/archive/2012/02/02/2335395.html
截图:
网上安装1.6的教程:http://www.centoscn.com/image-text/2013/0418/319.html
具体步骤:
<1> 执行命令 rm –rf/usr/local/* 删除所有内容
<2> 使用winscp把jdk文件从windows复制到/usr/local目录下
<3> 执行命令 chmod u+x jdk-… 赋予执行权限
<4> 执行命令 ./jdk-… 加压缩
<5> 执行命令 mv jdk1.6.0_24jdk
<6> 执行命令 vi/etc/profile 设置环境变量,增加了2行内容
export JAVA_HOME=/usr/local/jak
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
执行 source /etc/profile生效
<7> 验证:java –version
2.8 安装hadoop
<1>执行命令 tar –zxvf hadoop-1.1.2.tar.gz进行解压缩
<2>执行命令 mv hadoop-1.1.2 hadoop
<3>执行命令 vi/etc/profile 设置环境变量,增加了一行内容
export HADOOP_HOME=/usr/local/hadoop
修改了一行内容
exportPATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
<4>修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下的hadoop-env.sh
, core-site.xml, hdfs-site.xml, mapred-site.xml
具体修改见PPT
【hadoop-env.sh】修改内容如下(修改第9行)
exportJAVA_HOME=/usr/local/jdk
【core-site.xml】修改内容如下
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>(改为自己的主机名:hadoop)
<description>change your ownhostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
【hdfs-site.xml】修改内容如下
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
【mapred-site.xml】修改内容如下
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>(改为自己的主机名:hadoop)
<description>change your ownhostname</description>
</property>
</configuration>
<5>执行命令hadoop namenode –fromat 对hadoop进行格式化
<6>执行命令 start-all.sh启动
验证:(1)执行jps,发现有5个java进程,分别是NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.
(2)通过linux下的浏览器 http://hadoop:50070 和http://hadoop:50030访问
***可以修改windows系统下的C:\Windows\System32\drivers\etc文件夹中的hosts
文件,增加:192.168.153.130 hadoop,即可完成windows下的访问***
2.9 NameNode进程没有启动成功?
(1)没有格式化
(2)配置文件只copy,不修改
(3)hostname与ip没有绑定
(4)ssh免密码登陆没有配置成功
3.0 多次格式化hadoop也是错误的?
方法:删除/usr/local/hadoop/tmp文件夹,重新格式化
3.1 去除hadoop的启动过程中警告信息
使用命令 vim /etc/profile打开profile,增加一行
export HADOOP_HOME_WARN_SUPPRESS=1
保存退出,利用命令source /etc/profile 使其生效
验证:
使用命令start-all.sh 启动
warning已经消失!