在虚拟机下安装hadoop集成环境(centos7+hadoop-2.6.4+jdk-7u79)

时间:2022-06-25 01:04:55

【1】64为win7系统,用virtualbox建立linux虚拟机时,为什么没有64位的选项? 百度

【2】在virtualbox上安装centos7

【3】VirtualBox虚拟机网络环境解析和搭建-NAT、桥接、Host-Only、Internal、端口映射  (设置网络连接模式为桥接模式)

如果出现主机无法ping通虚拟机的情况,请首先确认虚拟机防火墙已关闭。(win7防火墙怎么关防火墙关闭命令执行步骤

【4】virtualbox以及相应VBoxGuestAdditions下载地址: http://download.virtualbox.org/virtualbox

【5】vbox虚拟机怎么样克隆多个虚拟机

【6】hadoop学习之hadoop完全分布式集群安装

【7】深刻认识linux系统  细说linux挂载——mount,及其他……

【8】centos命令大全

注意:

主机基本环境搭建

(1)sudo yum -y install wget 安装wget工具 百科yum 以及RPM Fusion

(2)下载jdk的包 wget -c -P /root/Downloads --no-check-certificate http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm 参考帖子

(3)4种安装jdk文件的方法

jdk1.7官方下载  hadoop下载 下载Hadoop版本:http://mirror.bit.edu.cn/apache/hadoop/common/

  采用其中一种yum安装

   yum search java|grep jdk
   yum install java-1.7.0-openjdk
    vi /etc/profile

卸载yum安装的openjdk  卸载注意事项1 卸载注意事项2

(4)http://blog.csdn.net/bruceyang2009lzu/article/details/28595571

(5)修改主机名:

hostname XXXX
这样临时生效
/etc/hostname 修改这个是永久的,但是要重启生效

(6)linux命令重启主机后修改名称生效

shutdown -r now : 表示现在重启计算机!

(7)配置hosts文件,配置时注意事项

实践脚本:

##最初采用yum安装的jdk,但安装openjdk后,发现安装的目录下缺少dt.jar和tools.jar文件,
##于是卸载openjdk,用xftp上传jdk-7u79-linux-x64.rpm至指定的目录
##jdk默认安装在了/usr/java目录下
rpm -qa | grep openjdk
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.2.el7_2.x86_64
rpm -e jdk-1.7.0_79-fcs
##############安装JDK
rpm -ivh jdk-7u79-linux-x64.rpm

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

touch HelloWorld.java
vi HelloWorld.java

将以下代码复制到 HelloWorld.java 中 :
public class HelloWorld {
public static void main(String[] args) {
System.out.println("Hello, World! This is a test code by nixCraft!");
}
}

复制进去后,保存关闭文件。编译和运行这个小程序,输入以下命令:
javac HelloWorld.java
java HelloWorld

会得到以下显示:
Hello, World! This is a test code by nixCraft!

#################安装SSH
rpm -qa |grep openssh

rpm -qa |grep rsync

yum install ssh 安装SSH协议
yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)
service sshd restart 启动服务

ssh免密码验证配置
首先在S1PA11机器配置(该机器是master)
进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen : ssh-keygen -t rsa ,一路狂按回车键就可以了
最终生成(id_rsa,id_rsa.pub两个文件)
生成authorized_keys文件:[spark@S1PA11 .ssh]$ cat id_rsa.pub >> authorized_keys
在另一台机器S1PA222(slave机器)也生成公钥和秘钥
步骤跟S1PA11是类似的
进去.ssh文件: [spark@S1PA11 sbin]$ cd ~/.ssh/
生成秘钥 ssh-keygen :ssh-keygen -t rsa ,一路狂按回车键就可以了
最终生成(id_rsa,id_rsa.pub两个文件)

将S1PA222机器的id_rsa.pub文件copy到S1PA11机器:[spark@S1PA222 .ssh]$ scp id_rsa.pub spark@10.58.44.47:~/.ssh/id_rsa.pub_sl
此切换到机器S1PA11 合并authorized_keys; [spark@S1PA11 .ssh]$ cat id_rsa.pub_sl >> authorized_keys

将authorized_keyscopy到S1PA222机器(/home/spark/.ssh):[spark@S1PA11 .ssh]$ scp authorized_keys spark@10.126.45.56:~/.ssh/
现在讲两台机器 .ssh/ 文件夹权限改为700,authorized_keys文件权限改为600(or 644)
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

OK 完成以上操作后 可以开始ssh验证了
S1PA11j机器sshS1PA222
[spark@S1PA11 .ssh]$ ssh S1PA222
Last login: Mon Jan 5 15:18:58 2015 from s1pa11
[spark@S1PA222 ~]$ exit
logout
Connection to S1PA222 closed.

###############hadoop环境变量安装和卸载
cp /usr/lusq/hadoop-2.7.3-src.tar.gz /home/hadoop
tar -zxvf hadoop-2.7.3-src.tar.gz

vi /etc/profile 编辑环境变量
# set hadoop path

export HADOOP_HOME=/usr/lusq/hadoop
export PATH=$PATH :$HADOOP_HOME/bin

source /etc/profile 使环境变量生效
(小插曲:
在设置环境变量时,编辑profile文件没有写正确,导致在命令行下 ls等命令不能够识别。
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
这样可以保证命令行命令暂时可以使用。命令执行完之后先不要关闭终端
)
用vi命令对hadoop的配置文件进行编辑。
~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

###############给剩余的机器安装
scp -r /usr/lusq/hadoop root@10.10.100.115:/usr/lusq/

###########启动和验证
1、格式化namenode: [spark@S1PA11 hadoop-2.6.0]./bin/hdfs namenode -format
2、启动hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/start-dfs.sh
3、停止hdfs: [spark@S1PA11 hadoop-2.6.0]./sbin/stop-dfs.sh
[spark@S1PA11 hadoop-2.6.0]jps

###########网页查看集群
http://10.10.100.105:50070/dfshealth.html#tab-overview

在虚拟机下安装hadoop集成环境(centos7+hadoop-2.6.4+jdk-7u79)

参考 hadoop2.6.0版本集群环境搭建

虾皮网

一步步教你Hadoop多节点集群安装配置