Hadoop2.6.0伪分布环境搭建

时间:2022-09-18 22:36:10

用到的软件:

Hadoop2.6.0伪分布环境搭建

一、安装jdk:

1、要安装的jdk,我把它拷在了共享文件夹里面。

  (用优盘拷也可以)

Hadoop2.6.0伪分布环境搭建

2、我把jdk拷在了用户文件夹下面。

(其他地方也可以,不过路径要相应改变)

Hadoop2.6.0伪分布环境搭建

3、执行复制安装解压命令:

Hadoop2.6.0伪分布环境搭建

解压完毕:

Hadoop2.6.0伪分布环境搭建

查看解压的文件夹:

Hadoop2.6.0伪分布环境搭建

4、配置 环境变量:

Hadoop2.6.0伪分布环境搭建

写入如下5行代码:

Hadoop2.6.0伪分布环境搭建

使配置生效:

Hadoop2.6.0伪分布环境搭建

5、查看安装的jdk:

java -version

Hadoop2.6.0伪分布环境搭建

java

Hadoop2.6.0伪分布环境搭建

javac

Hadoop2.6.0伪分布环境搭建

二、SSH免密码登陆:

1、安装SSH:

Hadoop2.6.0伪分布环境搭建

2、是否生成 .ssh
目录:

Hadoop2.6.0伪分布环境搭建

3、如果没有生成,自己手动创建一个 .ssh 目录:

Hadoop2.6.0伪分布环境搭建

生成的 .ssh 目录:

Hadoop2.6.0伪分布环境搭建

4、生成公钥与私钥:

Hadoop2.6.0伪分布环境搭建

效果如下:

Hadoop2.6.0伪分布环境搭建

5、将公钥加入到用于认证的公钥文件中:

Hadoop2.6.0伪分布环境搭建

6、免密码登陆:

Hadoop2.6.0伪分布环境搭建

效果:

Hadoop2.6.0伪分布环境搭建

Ubuntu 免密码登陆,SSH配置完。

三、安装配置Hadoop:

1、复制安装解压Hadoop

Hadoop2.6.0伪分布环境搭建

解压完毕效果:

Hadoop2.6.0伪分布环境搭建

2、配置 etc/profile

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

3、配置 hadoop-env.sh

进入

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

4、修改hadoop-2.6.0文件权限为用户权限:

Hadoop2.6.0伪分布环境搭建

默认没有mapred-site.xml文件,复制mapred-site.xml.template一份,并把名字改为mapred-site.xml

Hadoop2.6.0伪分布环境搭建

5、配置下面4个重要文件:

mapred-site.xml

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

core-site.xml

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

hdfs-site.xml

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

yarn-site.xml

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

6、格式化:

Hadoop2.6.0伪分布环境搭建

格式化部分效果:

Hadoop2.6.0伪分布环境搭建

7、启动:

先启动  start-dfs.sh

Hadoop2.6.0伪分布环境搭建

效果:

Hadoop2.6.0伪分布环境搭建

再启动  start-yarn.sh

Hadoop2.6.0伪分布环境搭建

效果:

Hadoop2.6.0伪分布环境搭建

关闭hadoop:

Hadoop2.6.0伪分布环境搭建

(注:也可以  sbin/start-all.sh:  建议分开启动。)效果一样,如下:

Hadoop2.6.0伪分布环境搭建

8、查看Web页面信息:

Hadoop2.6.0伪分布环境搭建

Hadoop2.6.0伪分布环境搭建

至此,hadoop-2.6.0伪分布配置成功。

附录:文字版

. ubuntuJDK的安装:

见Ubuntu中安装配置jdk。

. ubuntu下安装ssh:

1. $ sudo apt-get install openssh-server (用此方法安装不成功,参考在Ubuntu中配置SSH)

2. 启动ssh:/etc/init.d/ssh start

3. $ ps -e | grep ssh 来验证是否启动sshserver

4. 免密码化

$ ssh-keygen -t rsa //生成密钥对

一直按Enter键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。

$cd .ssh  //进入.ssh目录

$cp id_rsa.pub authorized_keys

$ssh localhost

. ubuntu下安装hadoop

1. 下载hadoop-0.20.2.tar.gz,放在/opt下解压

2. 修改hadoop配置文件

conf/hadoop-env.sh 修改JAVA_HOME选项:

export JAVA_HOME=/usr/java/jdk1.6.0_24,一定记得去除前面的#

3. 伪分布式单机配置

conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>fs.default.name</name>
                  <value>hdfs://localhost:9000</value>
        </property>
</configuration>

conf/hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
         <property>
                  <name>dfs.replication</name>
                   <value>1</value>
         </property>

<property>

<name>dfs.name.dir</name>    //为了保证每次重启不用格式化

<value>/opt/hadoop-0.20.2/rq</value>       //namenode,此处设置非常重要

</property>

<property>

<name>dfs.data.dir</name>

<value>/opt/hadoop-0.20.2/rq/data</value>

</property> 
</configuration>

conf/mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
        <property>
                 <name>mapred.job.tracker</name>
                          <value>localhost:9001</value>
        </property>
</configuration>

5. 创建hdfs文件系统

$ bin/hadoop namenode -format

6. 启动hadoop

需要先启动ssh:  $ /etc/init.d/ssh start

$ bin/start-all.sh

7. 在hadoop下创建test目录,然后建立file1.txt file2.txt 写入几个单词;将hadoop/test下的测试文件上传到hadoop文件系统中

$ bin/hadoop dfs -put ./test input

8. 运行wordCount例子

$ bin/hadoop jar hadoop-0.20.2-examples.jar
wordcount input output

9. 把结果从dfs上拷贝下来

$ bin/hadoop dfs -get output output

10. 查看结果

$ cat output/* 也可以直接查看 $
bin/hadoop dfs -cat output/*

11. 停止hadoop运行

$ bin/stop-all.sh

12. 关闭ssh-server

$ /etc/init.d/ssh stop

Hadoop2.6.0伪分布环境搭建的更多相关文章

  1. Hadoop2&period;5&period;0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  2. hadoop-2&period;7&period;1伪分布环境搭建

    1.准备Linux环境  1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet i ...

  3. 在Win7虚拟机下搭建Hadoop2&period;6&period;0伪分布式环境

    近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...

  4. Hadoop之伪分布环境搭建

    搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy     配置hado ...

  5. 分享一份关于Hadoop2&period;2&period;0集群环境搭建文档

    目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...

  6. hive-2&period;2&period;0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

  7. Hadoop&period;2&period;x&lowbar;伪分布环境搭建

    一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生 ...

  8. Spark2&period;4&period;0伪分布式环境搭建

    一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版 ...

  9. Ubuntu15&period;10下Hadoop2&period;6&period;0伪分布式环境安装配置及Hadoop Streaming的体验

    Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...

随机推荐

  1. for循环进阶

    [引例] 输出一行10个“*” #include<cstdio> int main(){ printf("**********\n"); ; } 思考: (1)输出一行 ...

  2. SQL Server2008 程序设计 汇总 GROUP BY,WITH ROLLUP,WITH CUBE,GROUPING SETS&lpar;&period;&period;&rpar;

    --SQL Server2008 程序设计 汇总 GROUP BY ,WITH ROLLUP  WITH CUBE  GROUPING SET(..) /*********************** ...

  3. Java读写Word文件常用技术

      Java操作操作Word文件,最近花了几天时间解决使用Word模板导出数据的问题,收集到一些资料分享下. 常见的技术如下: 1.POI(兼容doc.docx文件) 官方网站:http://poi. ...

  4. asp&period;net提高程序性能的技巧(一)

    [摘 要] 我只是提供我几个我认为有助于提高写高性能的asp.net应用程序的技巧,本文提到的提高asp.net性能的技巧只是一个起步,更多的信息请参考<Improving ASP.NET Pe ...

  5. 国内外主流BI工具介绍和点评

    商业智能的应用在国外已广为普及,并且开始不断探索大数据和云技术.而国内,商业智能BI工具在这几年才开始慢慢被接受,企业开始有意识地建立一体化数据分析平台,为经营决策提供分析. 从国内企业使用情况来看, ...

  6. MATLAB三点确定圆

    function [circleCenter,radius] = ThreePointCircle(obj,x,y,z) A=[x(1)-y(1),x(2)-y(2);z(1)-y(1),z(2)-y ...

  7. C 语言多线程与锁机制

    C 语言多线程与锁机制 多线程 #include <pthread.h> void *TrainModelThread(void *id) { ... pthread_exit(NULL) ...

  8. 大道至简、大智若愚—GO语言最佳详解实践

      导读:2007年,受够了C++煎熬的Google首席软件工程师Rob Pike纠集Robert Griesemer和Ken Thompson两位牛人,决定创造一种新语言来取代C++, 这就是Gol ...

  9. 关于linux的一些基础知识

    一.基础 1.linux所有内容以文件形式保存,包括硬件. 2.linux 不区分扩展名,靠权限区分.   #但是,约定 .sh脚本文件  .conf配置文件. 3.-rw-r--r--        ...

  10. 【专题】区间dp

    1.[nyoj737]石子合并 传送门:点击打开链接 描述    有N堆石子排成一排,每堆石子有一定的数量.现要将N堆石子并成为一堆.合并的过程只能每次将相邻的两堆石子堆成一堆,每次合并花费的代价为这 ...