hadoop分布式存储(2)-hadoop的安装(毕业设计)

时间:2023-03-08 17:47:11
总共分三步:
1、准备linux环境
租用“云主机”,阿里云,unitedStack等,云主机不受本机性能影响(或者直接安转linux操作系统或者虚拟机也行);
PuTTy Configuration 是一个跨平台的远程登录工具
2、安装JDK
步骤也很简单:
(1)首先输入javac,看看是否已安装jdk,如果没有,会有jdk版本和命令提示(如命令:apt-get install openjdk-7-jdk)
(2)配置环境变量:vim /etc/profile
            设置java_home:w
export JAVA_HOME=/user/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$ JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
注:
1.Linux下用冒号 : 分割路径
2.$PATH / $JAVA_HOME / $JRE_HOME 是用来引用原来环境变量的值,在设置环境变量时不能把原来的值给覆盖掉
3.$CLASSPATH 中 当前目录 “.”不能丢
4.export 是把这4个变量导出为全局变量
5. source /etc/profile变量立即生效
6、这里如果文件是readonly,则用 :wq 或者 :!wq 都将无法保存,应该是用命令 :w !sudo tee %
 
3、配置hadoop
(1)下载Hadoop安装包
$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
(2) $ tar -zxvf hadoop-1.2.1.tar.gz
(3)配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件;
$ vim hadoop-env.sh 添加JDK路径
如果忘记的话可以在终端输入echo $JAVA_PATH来查看路径
core-site.xml:
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property> <property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property> <property>
<name>fs.default.name</name>
<value>hdfs://imooc:9000</value>
</property>
hdfs-site.xml
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
hdfs-site.xml文件设置,文件系统数据存放目录
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
4、编辑/etc/profile文件,配置hadoo环境变量;
5、第一次使用hadoop先进行格式化:
$ hadoop namenode -format;
6、启动hadoop:start-all.sh;
7、检查进程:jps;