“工欲善其事,必先利其器。” 首先,还是和小讲一起搭建一个Hadoop环境吧。
Hadoop发行版本选择
从Hadoop官方网站可以看到,Hadoop最新版已经到2.7了。不过,据小讲所知,目前企业生产环境中2.2这个版本用得比较多,不少企业还停留在1.X等更低的版本,市面上很多教材采用的还是0.2X,1.X都极少,对于初学者来说,小讲建议采用2.2版本,一方面接口已经是新的接口,使用起来没什么大的区别,另一方面也相对稳定,更重要的是,不会开发时找不到各种工具或插件导致学习无法进行,本产品《Hadoop大讲台》中,课程初级阶段的案例和讲解采用hadoop2.2版本即可,在课程的中、高级阶段我们会跟大家详细讲解Apache Hadoop2.6和CDH5。
OK,我们之间有了个约定,课程的初级阶段我们统一使用Hadoop版本选择:2.2.0
Hadoop的安装模式
Hadoop的安装模式分为三种:单机模式、伪分布模式、全分布模式。
单机模式:这是默认的安装模式,也是占用资源最少的模式,配置文件不用修改。完全运行在本地,不与其它节点交互,也不使用Hadoop文件系统,不加载任何守护进程,主要用于开发调试MapReduce应用程序。
伪分布模式:即“单节点集群”模式,所有的守护进程都运行在同一台机子上。这种模式增加了代码调试功能,可以查看内存、HDFS的输入/输出,以及与其它守护进程之间的交互。
全分布模式:真正的分布式集群配置,用于生产环境。
为了便于大家学习,快速进入MapReduce编程,前面课程的学习我们选择搭建Hadoop伪分布集群。
Hadoop集群目前都是在Linux环境下运行,小讲知道,我们很多同学都是在Windows下学习和工作的,那么,我们要么用Cygwin在Windows下模拟Linux环境,要么搭Linux虚拟机。Cygwin模拟的方案还是不要用了,要学习我们就正式一点,还是踏踏实实玩Linux虚拟机吧。
硬件要求
1台电脑,硬件方面:内存建议4G以上,空余硬盘30G以上。
安装步骤
从0开始搭建Hadoop伪分布集群,大致需要以下几个步骤。
第一步:在Windows上安装VMware Workstation,这个小讲就不细说了,不会的同学请看免费视频:VMWare 虚拟机的安装。
第二步:VMware虚拟机安装Linux 系统。(建议选用Centos6.5稳定版本)
第三步:Linux系统的网络配置和系统配置。
第四步:正式安装部署hadoop 伪分布集群。
VMware Workstation的安装比较简单,大家可以看对应的视频,这节课我们一起操作VMware虚拟机安装Linux 系统。
VMware虚拟机安装Linux 系统
1、首先打开网易开源镜像站: http://mirrors.163.com/
当然,大家也可以使用阿里开源镜像站:http://mirrors.aliyun.com/
2、点击进入centos目录。
3、因为我们选择安装centos6.5版本系统,所以点击进入6.5/目录
4、我们打开里面的readme文件,找到下载地址:http://vault.centos.org/。
5、打开下载地址。
6、点击进入6.5/目录。
7、点击进入isos/目录。
8、我们选择安装64位的centos系统,所以我们选择点击进入x86_64/目录。 当然,如果大家想安装32位的centos系统,可以选择 i386/目录。
9、这里我们选择点击进入CentOS-6.5-x86_64-bin-DVD1.iso,因为此时只是一个连接地址。
10、选择上面任何一个地址点击进入即可。
11、点击进入6.5/目录。
12、点击进入isos/目录。
13、点击进入x86_64/目录。
14、点击下载CentOS-6.5-x86_64-bin-DVD1.iso镜像文件就可以了。
15、点击虚拟机进行安装,点击创建虚拟机。
16、选择自定义安装。
17、下一步。
18、点击稍后安装操作系统。
19、选择安装Linux系统,Linux的版本选择64位。
20、设置好虚拟机的名称(比如,dajiangtai)及虚拟机的位置(选择一个安装目录),这里并不建议将其安装在C盘目录下,尽量安装在非系统盘中。
21、处理器数量以及其核心数量数,根据实际的需要进行修改,也可以选择默认,点击下一步。
22、设置虚拟机的内存,在这里选择默认的1G即可,根据需求也可以将其进行调整为2G,这样会更加流畅。此处选择默认,然后下一步。
23、在选择网络类型的时候,这里建议使用NAT服务地址转换,这样有利于虚拟机之间的通信。
24、选择默认,点击下一步。
25、磁盘类型也选择默认,点击下一步。
26、选择创建新的虚拟机磁盘。
27、最大磁盘选择默认即可,而下面的勾选框要去掉,否则立刻分配,对物理磁盘的消耗会是巨大的。最后选择将虚拟机拆分成多个文件,这样有利于复制。
28、选择默认即可。
29、默认Vmware会为虚拟机分配好多的硬件,我们点击自定义虚拟机的硬件,将不需要的硬件进行删除。
30、此时已经创建好名为dajiangtai的虚拟机,这时候我们要点击CD/DVD进行系统盘的加载,来安装Linux系统。
31、加载好之后,我们点击开启虚拟机进行安装。进入安装页面虚拟机会加载安装的光盘文件,并且提示安装,我们选择第一个选项即可。
32、这里提示找到光盘,是否要对光盘进行检查,我们选择跳过磁盘检查,因为下载的硬盘一般都是没有问题的,否则不会进入到安装页面,同时磁盘检查也会消耗大量的时间,所以我们点击Skip跳过即可。
33、正式进入CentOS的安装页面。
34、在语言选项这里,我们选择默认的English即可,因为中文容易出现乱码情况,不建议使用,同时很多操作本身还是英文的,所以我们就选择默认好啦。
35、这里选择的是键盘的类型,我们依然选择默认的美式键盘,防止出现错误。
36、这一步默认即可,选择Basic Storage Devices。
37、提示我们是否安装在此虚拟硬盘中,因为会抹除掉相关的信息,这里我们选择是的,因为这个虚拟磁盘相当于新的物理磁盘,我们直接清除即可。
38、这里设置主机名,我们可以自定义,比如 dajiangtai。
39、时区的话,我们选择默认即可。
40、这里是为root用户设置密码,我们可以自定义,比如 dajiangtai。
这里提示密码并不安全,因为Linux系统希望你设置的密码为组合式密码,所以建议你进行修改。当然,我们可以忽略提示,点击Use Anyway。
41、接下来提示我们如何进行系统的安装,我们选择使用磁盘的所有空间即可。
42、这里提示我们需要重新写入硬盘的相关信息,我们点击右侧的Write changes to disk。
系统开始设置硬盘。
43、这里是选择CentOS系统的安装类型及使用用途,新手的话建议选择Desktop模式,即会安装图形界面,但是考虑到我们学习Linux系统主要是通过命令行的方式来进行操作,并不需要图形界面,所以我们选择Minimal模式即可。
44、点击之后开始进行安装。
45、安装完成之后,我们选择Reboot重启即可。
46、重启之后我们发现屏幕黑黑,与我们常见的Windows系统的开机界面相当的不同,不过大家不用担心,你的电脑没坏,恭喜你Linux系统安装成功。
47、通过上面的欢迎页面我们可以看到CentOS的版本, 及内核的版本信息,然后我们输入,用户名:root,密码:dajiangtai,登录Linux系统。
Ok,我们Linux系统已经安装完毕,下节课我们接着学习Linux系统的网络配置和系统配置。
测一测