CentOS 7 Hadoop安装配置

时间:2022-09-20 19:15:14

前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题。首先设置两台计算机的主机名 root 权限打开/etc/host文件

CentOS 7 Hadoop安装配置

再设置hostname,root权限打开/etc/hostname文件设置

CentOS 7 Hadoop安装配置

从机设为Slaver.Hadoop

1.安装java jdk 并配置环境

  centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk

  在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo).

  接下来安装jdk并配置环境,到网上下载jdk的rpm包,使用命令:rpm -ivh jdk-......;

  配置jdk环境:

  root用户打开/etc/profile文件 在文件末尾添加jdk路径类似下面的配置,只需注意jdk版本即可

  CentOS 7 Hadoop安装配置

  上面一部分为java环境变量,后面为hadoop变量,等会用得上。

2.安装hadoop并配置环境。 

  到Apache网站下载hadoop-2.6.0版本.

  解压文件: tar -xvf hadoop-2.6.0.tar.gz (解压到需要安装的路径,或者到时候再设定路径)

  进入解压后的目录,到hadoop-2.6.0/etc/hadoop/路径下找到下面几个配置文件

  CentOS 7 Hadoop安装配置

  core.site.xml:

  CentOS 7 Hadoop安装配置

  hdfs-site.xml

  CentOS 7 Hadoop安装配置

  mapred-site.xml.template

  CentOS 7 Hadoop安装配置

  hadoop-env.sh

  CentOS 7 Hadoop安装配置

  slaves

   192.168.1.126  从机ip

  到此配置完成,启动参照网上的教程。

  /hadoop-2.6.0/bin/hadoop namenode -format

  /hadoop-2.6.0/sbin/start-all.sh

  完成。

  注意:启动前需要将两台计算机的防火墙关闭:sudo systemctl stop iptables.service

3.安装配置hadoop eclipse 插件

  下载hadoop eclipse 插件,将其放入eclipse 文件夹的plugins文件夹中,启动eclipse.

  eclipse window->open persperctive->other->

  CentOS 7 Hadoop安装配置

  分别打开Map/Reduce 和 Resource 。然后到eclipse中新建M/R项目,找到wordcount.java源代码执行,

  eclipse中run as configuertion 设置参数:

  CentOS 7 Hadoop安装配置

  eclipse中项目目录:

  CentOS 7 Hadoop安装配置

  执行结果:

  CentOS 7 Hadoop安装配置

  

  

CentOS 7 Hadoop安装配置的更多相关文章

  1. 大数据专栏 - 基础1 Hadoop安装配置

    Hadoop安装配置 环境 1, JDK8 --> 位置: /opt/jdk8 2, Hadoop2.10: --> 位置: /opt/bigdata/hadoop210 3, CentO ...

  2. CentOS 7.0安装配置Vsftp服务器

    一.配置防火墙,开启FTP服务器需要的端口 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop fi ...

  3. CentOS 6.6安装配置LAMP服务器(Apache+PHP5+MySQL)

    准备篇: CentOS 6.6系统安装配置图解教程 http://www.osyunwei.com/archives/8398.html 1.配置防火墙,开启80端口.3306端口 vi /etc/s ...

  4. CentOS 6.5安装配置LNMP服务器(Nginx+PHP+MySQL)

    CentOS 6.5安装配置LNMP服务器(Nginx+PHP+MySQL) 一.准备篇: /etc/init.d/iptables stop #关闭防火墙 关闭SELINUX vi /etc/sel ...

  5. CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)

    这篇文章主要介绍了CentOS 6.4安装配置LAMP服务器(Apache+PHP5+MySQL)的方法,需要的朋友可以参考下 文章写的不错,很详细:IDO转载自网络: 准备篇: 1.配置防火墙,开启 ...

  6. centOS下yum安装配置samba

     centOS下yum安装配置samba 2010-03-29 15:46:00 标签:samba yum centOS 安装 休闲 注意:本文的原则是只将文件共享应用于内网服务器,并让将要被共享的目 ...

  7. CentOS 7.0安装配置LAMP服务器(Apache+PHP+MariaDB)

    CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptables防火墙. 1.关闭firewall: systemctl stop firewalld.service #停止fir ...

  8. CentOS 7.x安装配置

    简述 VMware可以创建多个虚拟机,每个虚拟机上都可以安装各种类型的操作系统.安装方法也有很多种.下面,主要以ISO镜像安装为例,介绍CentOS 7.x的安装过程及相关的参数设置. 简述 创建虚拟 ...

  9. CentOS 6.x安装配置

    简述 VMware可以创建多个虚拟机,每个虚拟机上都可以安装各种类型的操作系统.安装方法也有很多种.下面,主要以ISO镜像安装为例,介绍CentOS 6.x的安装过程及相关的参数设置. 简述 创建虚拟 ...

随机推荐

  1. 百度编辑器ueditor 的 submit 表单提交

    页面中表单提交代码: <input type="submit" name="Submit" value="修改保存"> 提交的结 ...

  2. Response&period;Cookies 和 Request&period;Cookies

    Response.Cookies 和 Request.Cookies     原文地址: http://www.cnblogs.com/forcertain/archive/2012/12/04/28 ...

  3. 开发WebForm时遇到的问题

    在做一个小项目时,一个很长的页面,页面底部有一个contact us form 整个页面我没有使用MVC,而是使用ASP.NET WebForm(.aspx)来实现,实现功能后发现,当用户在页面底部输 ...

  4. Linux下多任务间通信和同步-信号

    Linux下多任务间通信和同步-信号 嵌入式开发交流群280352802,欢迎加入! 1.概述 信号是在软件层次上对中断机制的一种模拟,是一种异步通信方式.信号可以直接进行用户空间进程和内核进程之间的 ...

  5. JAVA 代码生成。SimpleCaptcha

    去官方网站下载Jar包: http://simplecaptcha.sourceforge.net/ Javadocs: http://simplecaptcha.sourceforge.net/ja ...

  6. logger日志工具类

    日志工厂类 package cn.itcast.utils; import java.util.logging.FileHandler; import java.util.logging.Handle ...

  7. 尝试在数据库 5 中提取逻辑页 &lpar;1&colon;1640&rpar; 失败。该逻辑页属于分配单元XXX ,而非 XXX。

    此信息表明数据库或表 已经部分损坏可以通过以下步骤尝试修复: 1. DBCC CHECKDB 重启服务器后,在没有进行任何操作的情况下,在SQL查询分析器中执行以下SQL进行数据库的修复,修复数据库存 ...

  8. Django 静态文件相关设置

    项目根目录创建  static 文件夹 settings.py 中加入 STATICFILES_DIRS = [ os.path.join(BASE_DIR, "static") ...

  9. 微服务架构之spring cloud feign

    在spring cloud ribbon中我们用RestTemplate实现了服务调用,可以看到我们还是需要配置服务名称,调用的方法 等等,其实spring cloud提供了更优雅的服务调用方式,就是 ...

  10. Mysql Explain的简单使用

    Mysql Explain 主要重要的字段有上面红色方框圈出来的那几个. type: 连接类型,一个好的SQL语句至少要达到range级别,杜绝出现all级别. key: 使用到的索引名,如果没有选择 ...