Centos 7环境下安装配置Hadoop 3.0 Beta1简记

时间:2021-04-03 10:05:54

前言

由于以前已经写过一篇Centos 7环境下安装配置2.8的随笔,因此这篇写得精简些,只挑选一些重要环节记录一下。

安装环境为:两台主机均为Centos 7.*操作系统,两台机器配置分别为:

主机centos-hadBeta1:IP为:10.10.11.225

从机hadoopnode1:IP为:10.10.11.254

1.配置etc/hadoop文件夹中的文件:

配置Hadoop-env.sh文件中的Java_Home变量(/etc/profile文件配置与此相同)。

export JAVA_HOME=jdk安装路径

core-size.xml文件配置项为:

<property>   
   <name>fs.defaultFS</name>  
   <value>hdfs://10.10.11.225:9000</value> 
</property>  
<property>   
   <name>io.file.buffer.size</name>   
   <value>131072</value>   
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/temp/hadoopdata</value>
 </property>

hdfs-site.xml文件配置项为:

<property>
  <name>dfs.replication</name>
<value>2</value>
  </property>
<property>
  <name>dfs.name.dir</name>
  <value>/usr/hadoop/hdfs/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/usr/hadoop/hdfs/data</value>
</property>

yarn-site.xml文件配置项为:

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>10.10.11.225:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>10.10.11.225:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>10.10.11.225:8031</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>10.10.11.225:8033</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>10.10.11.225:8088</value>
</property>

mapred-site.xml文件配置项为:

<property>
  <name>mapred.job.tracker</name>
  <value>http://10.10.11.225:9001</value>
</property>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.application.classpath</name>
  <value>
    /usr/hadoop/etc/hadoop,
    /usr/hadoop/share/hadoop/common/*,
    /usr/hadoop/share/hadoop/common/lib/*,
    /usr/hadoop/share/hadoop/hdfs/*,
    /usr/hadoop/share/hadoop/hdfs/lib/*,
    /usr/hadoop/share/hadoop/mapreduce/*,
    /usr/hadoop/share/hadoop/mapreduce/lib/*,
    /usr/hadoop/share/hadoop/yarn/*,
    /usr/hadoop/share/hadoop/yarn/lib/*
  </value>
</property>

works文件配置如下(在hadoop 3.0 alpha4版本以前为slaves文件):

10.10.11.254

2.账户配置

在sbin/start-yarn.sh、stop-yarn.sh、start-dfs.sh、stop-dfs.sh文件中分别添加hadoop 3.0版本所需账户,配置如下:

YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_USER=root

3.初始化

将从机(hadoopnode1)也如配置完成后,初始化Hadoop,命令如下:

hdfs namenode -format

4.启动结果

配置完成后,运行start-all命令启动hadoop,即可见到datanode启动后结果,如下图所示:

Centos 7环境下安装配置Hadoop 3.0 Beta1简记

Centos 7环境下安装配置Hadoop 3.0 Beta1简记的更多相关文章

  1. Centos 7环境下安装配置MySQL 5&period;7

    安装步骤为: 1.由于Centos 7版中已经移除MySQL rpm,因此需要到其官方网站上下载rpm,下载完成后,使用以下命令,来安装MySQL的rpm配置. rpm -ivh *****[注释:* ...

  2. win环境下安装配置openCV-4&period;3&period;0

    win环境下安装openCV-4.3.0 首先下载 推荐国内镜像 官网太太太慢了 附上 下载地址 下载之后打开exe解压到目录都是常规操作 环境变量的配置 依次打开到系统变量的path 新建一个路径为 ...

  3. Mac环境下安装配置Hadoop伪分布式

    伪分布式需要修改5个配置文件(hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop) 第一个:hadoop-env.sh #vim hadoop-env.sh #第25行,由于新 ...

  4. 笔记-python-centos环境下安装配置

    笔记-python-centos环境下安装配置 1.      准备工作 环境准备 centos6.5 mini,已有python 2.6.6 下载源码包 Python官网下载Gzipped sour ...

  5. CentOS 6&period;6下安装配置Tomcat环境

    本文转载至:http://www.linuxidc.com/Linux/2015-08/122234.htm 实验系统:CentOS 6.6_x86_64 实验前提:防火墙和selinux都关闭 实验 ...

  6. 虚拟机Ubuntu&lpar;18&period;04&period;2&rpar;下安装配置Hadoop&lpar;2&period;9&period;2&rpar;&lpar;伪分布式&plus;Java8&rpar;

    [本文结构] [1]安装Hadoop前的准备工作 [1.1] 创建新用户 [1.2] 更新APT [1.3] 安装SSH [1.4] 安装Java环境 [2]安装和配置hadoop [2.1] Had ...

  7. httperf学习笔记(CentOS-6&period;6环境下安装配置)

    新工作已经找到了,最近在忙着熟悉环境,昨天领导让我接触下httperf压力测试工具 百度了下,相关的文档,准备着手配置一个测试环境基于linux系统httperf+autobench+gnuplot, ...

  8. CentOS和Ubuntu下安装配置Greenplum数据库集群(包括安装包和源码编译安装)

    首先说一下,无论是CentOS/RedHat还是Ubuntu都可以按源码方式.安装包方式编译安装. 1.   规划 192.168.4.93(h93)       1个主master  2个主segm ...

  9. CentOS 7&plus; 环境下安装MySQL

    在CentOS中默认安装有MariaDB,但是我们需要的是MySQL,安装MySQL可以覆盖MariaDB MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可 ...

随机推荐

  1. SQL各种语句、函数

    1.更改数据库的名称 2.表中有数据的情况下再添加列.删除列 3.在SQLServer 中各种查询语句的使用示例 4.模糊查询的语句 5.排序语句.排序并查前三名的语句 聚合函数:sum,avg,ma ...

  2. 我的Linux书架

    原文地址www.cnblogs.com/wwang/archive/2011/01/27/1944406.html 工作几年来,一直从事Linux内核驱动方面的开发.从接触Linux到现在,读过不少L ...

  3. EF中Database&period;SqlQuery

    本文转载:http://www.cnblogs.com/daimage/archive/2012/07/04/2575844.html EF中Database.SqlQuery<TElement ...

  4. c&plus;&plus;宏源证券编程

    1,定义宏功能,作,func(x) = x-1?      最简单的, 假设x = 2则 #define func(x) 1 特化出来x,令 #define func_helper_2 1 #defi ...

  5. Python 在cmd中import模块成功,但是在jupyter notebook中No module xxx found

    由于需要用到python中的某个库,因此打开命令行窗口cmd,然后使用pip安装.安装成功后,在cmd中输入python调出python环境,import该模块并使用,可以正常使用.但是打开juypt ...

  6. spring reference

    Spring框架概述 Spring可以轻松创建Java企业应用程序.它提供了在企业环境中使用Java语言所需的一切,支持Groovy和Kotlin作为JVM上的替代语言,并可根据应用程序的需要灵活地创 ...

  7. 验证对Random的两个猜想

    猜想1:Random.Next()产生的随机数不会有重复. 猜想2:大量级执行Random.Next(int i)分布在各个数值上的概率是均匀的. 验证猜想1 /*如果Random.Next()产生的 ...

  8. python 迭代器模式

    迭代器模式 迭代器模式(Iterator Pattern)是 Java 和 .Net 编程环境中非常常用的设计模式.这种模式用于顺序访问集合对象的元素,不需要知道集合对象的底层表示. 迭代器模式属于行 ...

  9. python学习笔记Day2

    字符编码 编程规范(PEP8) 变量1.常量(用大写) 2.变量 常用类型:str .int.float. long.bool 字串格式化: %d 整数 %2d占两位 %02d占两位用0填充 %f 浮 ...

  10. window&period;location&period;href

    WEB设置首页 <welcome-file-list> <welcome-file>index.html</welcome-file> </welcome-f ...