ubuntu 下 安装配置 hadoop 1.0.4

时间：2023-02-04 06:32:07
第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，

我的环境

操作系统：wmv虚拟机中的ubuntu12.04
hadoop版本：hadoop-1.0.4(听说是稳定版就下了)

eclipse版本：eclipse-jee-indigo-SR2-win32


1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是


2.安装ssh这个也不用说了


3.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: 

/home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)

4.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：

<configuration>
	<property>
	  <name>fs.default.name</name>
	  <value>hdfs://192.168.116.128:9000</value>
	</property>
	<property>
	   <name>hadoop.tmp.dir</name>
	   <value>/home/wys/Documents/tmp</value>
	</property>
</configuration>
说明：192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了，
tmp是预先创建的一个目录

5.修改hadoop-env.sh
把 export JAVA_HOME=xxxxxx 这行前面的#号去掉，写上jdk的目录路径

6.修改hdfs-site.xml如下：

<configuration>
  <property>
         <name>dfs.replication</name>
         <value>1</value>
  </property>
  <property>
   <name>dfs.permissions</name>
   <value>false</value>
  </property>
</configuration>
说明：为了以后用eclipse开发出现各种问题，就把权限关了！

7.修改mapred-site.xml

<configuration>
	<property>
		 <name>mapred.job.tracker</name>
		 <value>192.168.116.128:9001</value>
    </property>
</configuration>

8.启动hadoop

为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：


export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4
export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24
export JRE_HOME=$JAVA_HOME/jre

export PATH=$PATH:$HADOOP_HOME/bin


把这个复制到/etc/profile 文件中HADOOP_HOME   JAVA_HOME根据实际情况而定！

重启之后格式化分布式文件系统：
hadoop namenode -format

接着启动hadoop：
start-all.sh

成功后会看到一下信息：
starting namenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/h                adoop-root-namenode-ubuntu.out
localhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-ubuntu.out
starting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-ubuntu.out
localhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-ubuntu.out

9.现在就可以在浏览器中输入地址：
http://192.168.116.128:50030
http://192.168.116.128:50070
均可以查看到一些信息

假如这个http://192.168.116.128:50070地址无法访问 是因为 hadoop.tmp.dir 这个没指定文件夹

至此hadoop已安装配置完成！


用eclipse开发hadoop请看下篇博文
标签：

相关文章