用到的软件:
一、安装jdk:
1、要安装的jdk,我把它拷在了共享文件夹里面。
(用优盘拷也可以)
2、我把jdk拷在了用户文件夹下面。
(其他地方也可以,不过路径要相应改变)
3、执行复制安装解压命令:
解压完毕:
查看解压的文件夹:
4、配置 环境变量:
写入如下5行代码:
使配置生效:
5、查看安装的jdk:
java -version
java
javac
二、SSH免密码登陆:
1、安装SSH:
2、是否生成 .ssh
目录:
3、如果没有生成,自己手动创建一个 .ssh 目录:
生成的 .ssh 目录:
4、生成公钥与私钥:
效果如下:
5、将公钥加入到用于认证的公钥文件中:
6、免密码登陆:
效果:
Ubuntu 免密码登陆,SSH配置完。
三、安装配置Hadoop:
1、复制安装解压Hadoop
:
解压完毕效果:
2、配置 etc/profile
3、配置 hadoop-env.sh
进入
4、修改hadoop-2.6.0文件权限为用户权限:
默认没有mapred-site.xml文件,复制mapred-site.xml.template一份,并把名字改为mapred-site.xml
5、配置下面4个重要文件:
mapred-site.xml
core-site.xml
hdfs-site.xml
yarn-site.xml
6、格式化:
格式化部分效果:
7、启动:
先启动 start-dfs.sh:
效果:
再启动 start-yarn.sh:
效果:
关闭hadoop:
(注:也可以 sbin/start-all.sh: 建议分开启动。)效果一样,如下:
8、查看Web页面信息:
至此,hadoop-2.6.0伪分布配置成功。
附录:文字版
一. ubuntu下JDK的安装:
见Ubuntu中安装配置jdk。
二. ubuntu下安装ssh:
1. $ sudo apt-get install openssh-server (用此方法安装不成功,参考在Ubuntu中配置SSH)
2. 启动ssh:/etc/init.d/ssh start
3. $ ps -e | grep ssh 来验证是否启动sshserver
4. 免密码化
$ ssh-keygen -t rsa //生成密钥对
一直按Enter键,就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。
$cd .ssh //进入.ssh目录
$cp id_rsa.pub authorized_keys
$ssh localhost
三. ubuntu下安装hadoop:
1. 下载hadoop-0.20.2.tar.gz,放在/opt下解压
2. 修改hadoop配置文件
conf/hadoop-env.sh 修改JAVA_HOME选项:
export JAVA_HOME=/usr/java/jdk1.6.0_24,一定记得去除前面的#
3. 伪分布式单机配置
conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name> //为了保证每次重启不用格式化
<value>/opt/hadoop-0.20.2/rq</value> //namenode,此处设置非常重要
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/hadoop-0.20.2/rq/data</value>
</property>
</configuration>
conf/mapred-site.xml:
<?xml version="1.0"?>
<?xml-stylesheet
type="text/xsl" href="configuration.xsl"?>
<!-- Put
site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
5. 创建hdfs文件系统
$ bin/hadoop namenode -format
6. 启动hadoop
需要先启动ssh: $ /etc/init.d/ssh start
$ bin/start-all.sh
7. 在hadoop下创建test目录,然后建立file1.txt file2.txt 写入几个单词;将hadoop/test下的测试文件上传到hadoop文件系统中
$ bin/hadoop dfs -put ./test input
8. 运行wordCount例子
$ bin/hadoop jar hadoop-0.20.2-examples.jar
wordcount input output
9. 把结果从dfs上拷贝下来
$ bin/hadoop dfs -get output output
10. 查看结果
$ cat output/* 也可以直接查看 $
bin/hadoop dfs -cat output/*
11. 停止hadoop运行
$ bin/stop-all.sh
12. 关闭ssh-server
$ /etc/init.d/ssh stop
Hadoop2.6.0伪分布环境搭建的更多相关文章
-
Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...
-
hadoop-2.7.1伪分布环境搭建
1.准备Linux环境 1.0 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet i ...
-
在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境
近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop ...
-
Hadoop之伪分布环境搭建
搭建伪分布环境 上传hadoop2.7.0编译后的包并解压到/zzy目录下 mkdir /zzy 解压 tar -zxvf hadoop.2.7.0.tar.gz -C /zzy 配置hado ...
-
分享一份关于Hadoop2.2.0集群环境搭建文档
目录 一,准备环境 三,克隆VM 四,搭建集群 五,Hadoop启动与测试 六,安装过程中遇到的问题及其解决方案 一,准备环境 PC基本配置如下: 处理器:Intel(R) Core(TM) i5-3 ...
-
hive-2.2.0 伪分布式环境搭建
一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...
-
Hadoop.2.x_伪分布环境搭建
一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生 ...
-
Spark2.4.0伪分布式环境搭建
一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0 jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版 ...
-
Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验
Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...
随机推荐
-
for循环进阶
[引例] 输出一行10个“*” #include<cstdio> int main(){ printf("**********\n"); ; } 思考: (1)输出一行 ...
-
SQL Server2008 程序设计 汇总 GROUP BY,WITH ROLLUP,WITH CUBE,GROUPING SETS(..)
--SQL Server2008 程序设计 汇总 GROUP BY ,WITH ROLLUP WITH CUBE GROUPING SET(..) /*********************** ...
-
Java读写Word文件常用技术
Java操作操作Word文件,最近花了几天时间解决使用Word模板导出数据的问题,收集到一些资料分享下. 常见的技术如下: 1.POI(兼容doc.docx文件) 官方网站:http://poi. ...
-
asp.net提高程序性能的技巧(一)
[摘 要] 我只是提供我几个我认为有助于提高写高性能的asp.net应用程序的技巧,本文提到的提高asp.net性能的技巧只是一个起步,更多的信息请参考<Improving ASP.NET Pe ...
-
国内外主流BI工具介绍和点评
商业智能的应用在国外已广为普及,并且开始不断探索大数据和云技术.而国内,商业智能BI工具在这几年才开始慢慢被接受,企业开始有意识地建立一体化数据分析平台,为经营决策提供分析. 从国内企业使用情况来看, ...
-
MATLAB三点确定圆
function [circleCenter,radius] = ThreePointCircle(obj,x,y,z) A=[x(1)-y(1),x(2)-y(2);z(1)-y(1),z(2)-y ...
-
C 语言多线程与锁机制
C 语言多线程与锁机制 多线程 #include <pthread.h> void *TrainModelThread(void *id) { ... pthread_exit(NULL) ...
-
大道至简、大智若愚—GO语言最佳详解实践
导读:2007年,受够了C++煎熬的Google首席软件工程师Rob Pike纠集Robert Griesemer和Ken Thompson两位牛人,决定创造一种新语言来取代C++, 这就是Gol ...
-
关于linux的一些基础知识
一.基础 1.linux所有内容以文件形式保存,包括硬件. 2.linux 不区分扩展名,靠权限区分. #但是,约定 .sh脚本文件 .conf配置文件. 3.-rw-r--r-- ...
-
【专题】区间dp
1.[nyoj737]石子合并 传送门:点击打开链接 描述 有N堆石子排成一排,每堆石子有一定的数量.现要将N堆石子并成为一堆.合并的过程只能每次将相邻的两堆石子堆成一堆,每次合并花费的代价为这 ...