前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题。首先设置两台计算机的主机名 root 权限打开/etc/host文件
再设置hostname,root权限打开/etc/hostname文件设置
从机设为Slaver.Hadoop
1.安装java jdk 并配置环境
centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk
在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo).
接下来安装jdk并配置环境,到网上下载jdk的rpm包,使用命令:rpm -ivh jdk-......;
配置jdk环境:
root用户打开/etc/profile文件 在文件末尾添加jdk路径类似下面的配置,只需注意jdk版本即可
上面一部分为java环境变量,后面为hadoop变量,等会用得上。
2.安装hadoop并配置环境。
到Apache网站下载hadoop-2.6.0版本.
解压文件: tar -xvf hadoop-2.6.0.tar.gz (解压到需要安装的路径,或者到时候再设定路径)
进入解压后的目录,到hadoop-2.6.0/etc/hadoop/路径下找到下面几个配置文件
core.site.xml:
hdfs-site.xml
mapred-site.xml.template
hadoop-env.sh
slaves
192.168.1.126 从机ip
到此配置完成,启动参照网上的教程。
/hadoop-2.6.0/bin/hadoop namenode -format
/hadoop-2.6.0/sbin/start-all.sh
完成。
注意:启动前需要将两台计算机的防火墙关闭:sudo systemctl stop iptables.service
3.安装配置hadoop eclipse 插件
下载hadoop eclipse 插件,将其放入eclipse 文件夹的plugins文件夹中,启动eclipse.
eclipse window->open persperctive->other->
分别打开Map/Reduce 和 Resource 。然后到eclipse中新建M/R项目,找到wordcount.java源代码执行,
eclipse中run as configuertion 设置参数:
eclipse中项目目录:
执行结果:
CentOS 7 Hadoop安装配置的更多相关文章
-
大数据专栏 - 基础1 Hadoop安装配置
Hadoop安装配置 环境 1, JDK8 --> 位置: /opt/jdk8 2, Hadoop2.10: --> 位置: /opt/bigdata/hadoop210 3, CentO ...
-
CentOS 7.0安装配置Vsftp服务器
一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop fi ...
-
CentOS 6.6安装配置LAMP服务器(Apache+PHP5+MySQL)
准备篇: CentOS 6.6系统安装配置图解教程 http://www.osyunwei.com/archives/8398.html 1.配置防火墙,开启80端口.3306端口 vi /etc/s ...
-
CentOS 6.5安装配置LNMP服务器(Nginx+PHP+MySQL)
CentOS 6.5安装配置LNMP服务器(Nginx+PHP+MySQL) 一.准备篇: /etc/init.d/iptables stop #关闭防火墙 关闭SELINUX vi /etc/sel ...
-
CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)
这篇文章主要介绍了CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)的方法,需要的朋友可以参考下 文章写的不错,很详细:IDO转载自网络: 准备篇: 1.配置防火墙,开启 ...
-
centOS下yum安装配置samba
centOS下yum安装配置samba 2010-03-29 15:46:00 标签:samba yum centOS 安装 休闲 注意:本文的原则是只将文件共享应用于内网服务器,并让将要被共享的目 ...
-
CentOS 7.0安装配置LAMP服务器(Apache+PHP+MariaDB)
CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止fir ...
-
CentOS 7.x安装配置
简述 VMware可以创建多个虚拟机,每个虚拟机上都可以安装各种类型的操作系统.安装方法也有很多种.下面,主要以ISO镜像安装为例,介绍CentOS 7.x的安装过程及相关的参数设置. 简述 创建虚拟 ...
-
CentOS 6.x安装配置
简述 VMware可以创建多个虚拟机,每个虚拟机上都可以安装各种类型的操作系统.安装方法也有很多种.下面,主要以ISO镜像安装为例,介绍CentOS 6.x的安装过程及相关的参数设置. 简述 创建虚拟 ...
随机推荐
-
百度编辑器ueditor 的 submit 表单提交
页面中表单提交代码: <input type="submit" name="Submit" value="修改保存"> 提交的结 ...
-
Response.Cookies 和 Request.Cookies
Response.Cookies 和 Request.Cookies 原文地址: http://www.cnblogs.com/forcertain/archive/2012/12/04/28 ...
-
开发WebForm时遇到的问题
在做一个小项目时,一个很长的页面,页面底部有一个contact us form 整个页面我没有使用MVC,而是使用ASP.NET WebForm(.aspx)来实现,实现功能后发现,当用户在页面底部输 ...
-
Linux下多任务间通信和同步-信号
Linux下多任务间通信和同步-信号 嵌入式开发交流群280352802,欢迎加入! 1.概述 信号是在软件层次上对中断机制的一种模拟,是一种异步通信方式.信号可以直接进行用户空间进程和内核进程之间的 ...
-
JAVA 代码生成。SimpleCaptcha
去官方网站下载Jar包: http://simplecaptcha.sourceforge.net/ Javadocs: http://simplecaptcha.sourceforge.net/ja ...
-
logger日志工具类
日志工厂类 package cn.itcast.utils; import java.util.logging.FileHandler; import java.util.logging.Handle ...
-
尝试在数据库 5 中提取逻辑页 (1:1640) 失败。该逻辑页属于分配单元XXX ,而非 XXX。
此信息表明数据库或表 已经部分损坏可以通过以下步骤尝试修复: 1. DBCC CHECKDB 重启服务器后,在没有进行任何操作的情况下,在SQL查询分析器中执行以下SQL进行数据库的修复,修复数据库存 ...
-
Django 静态文件相关设置
项目根目录创建 static 文件夹 settings.py 中加入 STATICFILES_DIRS = [ os.path.join(BASE_DIR, "static") ...
-
微服务架构之spring cloud feign
在spring cloud ribbon中我们用RestTemplate实现了服务调用,可以看到我们还是需要配置服务名称,调用的方法 等等,其实spring cloud提供了更优雅的服务调用方式,就是 ...
-
Mysql Explain的简单使用
Mysql Explain 主要重要的字段有上面红色方框圈出来的那几个. type: 连接类型,一个好的SQL语句至少要达到range级别,杜绝出现all级别. key: 使用到的索引名,如果没有选择 ...