Hadoop伪分布模式配置

时间:2021-07-07 00:27:57

请先按照上一篇文章Hadoop单机模式配置安装好java和hadoop后再进行伪分布模式的配置。

Hadoop伪分布模式:一台机器,每个Hadoop守护进程都是一个独立的JVM进程

安装ssh服务

sudo apt-get install openssh-server

(如果没有安装ssh服务,将会出现如下情况:

manhua@manhua-Aspire-4741 ~/.ssh $ ssh localhost
ssh: connect to host localhost port 22: Connection refused
)

如果中途因为时间过长您中断了更新(Ctrl+z),当您再次更新时,会更新不了,报错为:“Ubuntu无法锁定管理目录(/var/lib/dpkg/),是否有其他进程占用它?“需要如下操作
sudo rm /var/lib/dpkg/lock
sudo rm /var/cache/apt/archives/lock

建立ssh无密码登录本机

ssh-keygen [三次Enter]
ssh-copy-id user@localhost

登录localhost

ssh localhost

首次连接需要输入yes确认
退出ssh输入exit / ctrl+D即可

配置hadoop

进入Hadoop配置文件目录

cd ~/hadoop/hadoop/etc/hadoop

core-site.xml

sudo gedit core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/kevin/hadoop</value>
<description>temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

hdfs-site.xml

sudo gedit hdfs-site.xml
<property>
<name>dfs.replication</name>
<value></value>
</property>

yarn-site.xml

sudo gedit yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:</value>
</property>

mapred-site.xml  (默认不存在此文件,需要创建)

sudo cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

创建slaves文件,填入

localhost

测试

格式化NameNode

hdfs namenode -format

看到倒数10行内有common.Storage: Storage directory /opt/hadoop/hadoop_tmp/dfs/name has been successfully formatted.即成功

启动

start-all.sh

查看所有JAVA进程

jps

此时可以看到如下:
jps
ResourceManager
NodeManager
DataNode
NameNode
SecondaryNameNode

并且可以访问以下站点

http://localhost:8088/cluster
http://localhost:50070/dfshealth.jsp

在用户文件夹建立test文件夹,新建几个文本文档,输入一些文字

hdfs dfs -copyFromLocal ~/setupEnv/Test1-WordCount/in /in
hdfs dfs -ls /in
hadoop jar ~/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2..jar wordcount /in /out

上传时指定block大小: hadoop fs -D fs.local.block.size=134217728 -put local_name remote_location

查看结果

hadoop fs -cat /out/part-r-00000

hdfs dfs -cat /out/part-r-00000

停止

stop-all.sh

=====================

Extra 测试二 compile &jar

cd ~/setupEnv/Test2-Dedup
javac -cp /opt/hadoop-2.2./share/hadoop/common/hadoop-common-2.2..jar:/opt/hadoop-2.2./share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2..jar:/opt/hadoop-2.2./share/hadoop/common/lib/* Dedup.java
jar -cvf Dedup.jar ./*.class

再次执行前要删除输出文件夹

hadoop fs -rm -r /out
hadoop dfs -copyFromLocal ~/setupEnv/Test2-Dedup/in2 /in
hadoop fs -ls /in
hadoop jar ~/setupEnv/Test2-Dedup/Dedup.jar Dedup /in /out

异常处理

如果发生任何启动异常,关闭进程后,需要清空数据:

rm -rf ~/hadoop/tmp

然后重新执行格式化:

hdfs namenode -format  

Hadoop伪分布模式配置的更多相关文章

  1. Hadoop伪分布模式配置部署

    .实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登录,系统用户名 shiyanlou,密码 shiyanlou 2. 环境介绍 本实验环境采用带桌面的 ...

  2. 3-2 Hadoop集群伪分布模式配置部署

    Hadoop伪分布模式配置部署 一.实验介绍 1.1 实验内容 hadoop配置文件介绍及修改 hdfs格式化 启动hadoop进程,验证安装 1.2 实验知识点 hadoop核心配置文件 文件系统的 ...

  3. hadoop伪分布模式安装

    软件环境 操作系统 :  OracleLinux-R6-U6 主机名: hadoop java: jdk1.7.0_75 hadoop: hadoop-2.4.1 环境搭建 1.软件安装 由于所需的软 ...

  4. hadoop伪分布模式的配置和一些常用命令

    大数据的发展历史 3V:volume.velocity.variety(结构化和非结构化数据).value(价值密度低) 大数据带来的技术挑战 存储容量不断增加 获取有价值的信息的难度:搜索.广告.推 ...

  5. 【原】Hadoop伪分布模式的安装

    Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) ( ...

  6. Linux环境搭建Hadoop伪分布模式

    Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...

  7. Hadoop伪分布模式操作

    http://blog.csdn.net/wangloveall/article/details/20195813 摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习.开发和调试. 关键 ...

  8. Hadoop 伪分布模式安装

    ( 温馨提示:图片中有id有姓名,不要盗用哦,可参考流程,有问题评论区留言哦 ) 一.任务目标 1.了解Hadoop的3种运行模式 2.熟练掌握Hadoop伪分布模式安装流程 3.培养独立完成Hado ...

  9. Data - Hadoop伪分布式配置 - 使用Hadoop2&period;8&period;0和Ubuntu16&period;04

    系统版本 anliven@Ubuntu1604:~$ uname -a Linux Ubuntu1604 4.8.0-36-generic #36~16.04.1-Ubuntu SMP Sun Feb ...

随机推荐

  1. UE4 Android打包 问题 记录笔记

    问题一:error: expression result unused [-Werror,-Wunused-value] 虽然看了输出日志知道了这行沉余代码删掉就行,但是不是很懂这个地方报错意义. 问 ...

  2. JAVA读取本地配置文件实例

    import java.io.InputStream; import java.util.Properties; public class FileProperties extends Propert ...

  3. System&period;Web&period;UI&period;WebControls的Web服务器控件

    calendar[英][ˈkælɪndə(r)][美][ˈkæləndɚ]n.日历; 历法; 日程表; (一年之中的)重大事件(或重要日期)一览表; vt.把…记入日程表中; 把…列入表中; 为(文件 ...

  4. 剑指Offer——丑数

    剑指Offer--丑数 前言     参照<剑指Offer>,通过洞悉其思想并消化吸收,改为java实现,供自己以后巩固. package cn.edu.ujn.offersword; i ...

  5. (八十七)AutoLayout的简介与实例

    AutoLayout是继AutoResizing之后的一种自动布局方法,解决了AutoResizing无法处理控件间相互关系的问题. AutoLayout在storyboard中通过底部工具条设置,底 ...

  6. Jquery 数组操作大全【转载】

    转载于:https://www.jb51.net/article/43164.htm 1. $.each(array, [callback]) 遍历[常用] 解释: 不同于例遍 jQuery 对象的 ...

  7. 02&period;redis安装

    因为我这里使用的是centos7 mini版本,需要安装gcc,通过下图显示命令安装gcc(因为redis是由C语言开发而来,所以需要安装gcc编译环境). linux安装好后可以区官网下载redis ...

  8. Windows下的ntfs流文件简介

    流文件,即NTFS交换数据流(alternate data streams,简称ADS),是NTFS磁盘格式的一个特性,在NTFS文件系统下,每个文件都可以存在多个数据流,就是说除了主文件流之外还可以 ...

  9. BZOJ 4027:&lbrack;HEOI2015&rsqb;兔子与樱花(贪心&plus;树形DP)

    [题目链接] http://www.lydsy.com/JudgeOnline/problem.php?id=4027 [题目大意] 樱花树由n个树枝分叉点组成,编号从0到n-1,这n个分叉点由n-1 ...

  10. 分页器与form表单

    分页器 分页器对象 from django.core.paginator import Paginator Paginator对象: paginator = Paginator(user_list, ...