Windows 10 搭建Hadoop平台

时间:2022-11-10 09:28:07

一、环境配置

JDK:1.8.

Hadoop下载地址(我选择的是2.7.6版本):https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

Hadoop运行在Windows上需要安装winutils支持和hadoop.dll文件。

winutils(我选择的是2.7.1版本)下载地址:https://github.com/steveloughran/winutils。

将文件解压到D盘根目录。

二、配置环境变量。

需要配置4个环境变量(JAVA相关自行百度)。

HADOOP_HOME:D:\hadoop-2.7.6

HADOOP_CONF_DIR:%HADOOP_HOME%\etc\hadoop

YARN_CONF_DIR:%HADOOP_CONF_DIR%

PATH添加%HADOOP_HOME%/bin

三、搭建winutils环境。

将下载的winutils(选择2.7.1版本中的文件放到) D:\hadoop-2.7.6\bin 文件夹中。

四、Hadoop环境配置。

首先,进入hadoop文件夹下的etc\hadoop文件夹,文件夹下修改文件:

  • 修改core-site.xml为如下代码:
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>
  • 修改mapred-site.xml为如下代码:
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
  • 修改hdfs-site.xml如下:
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/D:/hadoop-2.7.6/data/namenode</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/D:/hadoop-2.7.6/data/datanode</value>
    </property>
    </configuration>
  • 修改yarn-site.xml为:
    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    </configuration>
  • 修改hadoop-env.cmd,JAVA_HOME设置为 set JAVA_HOME=C:\Java\jdk1.8.0_144,并在尾部添加
    set HADOOP_IDENT_STRING=%USERNAME%
    set HADOOP_PREFIX=D:\hadoop-2.7.6
    set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
    set YARN_CONF_DIR=%HADOOP_CONF_DIR%
    set PATH=%PATH%;%HADOOP_PREFIX%\bin
  • 在D:\hadoop-2.7.6\etc\hadoop文件夹下创建slaves.txt文件,并在其中添加localhost

五、运行Hadoop

  • 打开cmd,执行‘hdfs namenode -format’,执行没有报错,说明成功。
  • 然后进入hadoop目录下sbin文件夹,双击start-all.cmd,得到如下图所示四张图: Windows 10 搭建Hadoop平台
  • 打开cmd,输入jps。可以看到如下提示。

  • Windows 10 搭建Hadoop平台

    搭建成功。

  • 搭建过程中遇到问题。
  • 1、NameNode文件夹不存在,我手动在路径中添加文件夹。()
  • 2、启动后报错NameNode文件夹没有format。打开cmd,输入hadoop namenode -format。重新启动start-all.cmd文件。
  • 3、经过上部,发现ResourceManager又出问题。启动stop-all.sh,然后start-all.sh,然后start-all.cmd。
  • 上诉3步过后,系统搭建OK。

Windows 10 搭建Hadoop平台的更多相关文章

  1. 大数据Hadoop学习之搭建hadoop平台(2&period;2)

    关于大数据,一看就懂,一懂就懵. 一.概述 本文介绍如何搭建hadoop分布式集群环境,前面文章已经介绍了如何搭建hadoop单机环境和伪分布式环境,如需要,请参看:大数据Hadoop学习之搭建had ...

  2. Windows 10 搭建 Django 环境(详细教程)

    Windows 10 搭建 Django 环境(详细教程) https://blog.csdn.net/HappyLittleMouse/article/details/81360272#1.%20P ...

  3. gitbook安装与使用之windows下搭建gitbook平台

    最近需要在GitBook中去阅读电子书 安装nodejs cnpm安装gitbook 解压书籍文件,并cd到书籍文件目录 gitbook serve 浏览器访问localhost:4000 先在win ...

  4. Windows上搭建hadoop开发环境

    前言 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者 ...

  5. Centos6&period;10搭建Hadoop三节点分布式

    (一)安装JDK 1. 下载JDK,解压到相应的路径 2.  修改 /etc/profile 文件(文本末尾添加),保存 sudo vi /etc/profile # 配置 JAVA_HOME exp ...

  6. 大数据Hadoop学习之搭建Hadoop平台(2&period;1)

     关于大数据,一看就懂,一懂就懵. 一.简介 Hadoop的平台搭建,设置为三种搭建方式,第一种是"单节点安装",这种安装方式最为简单,但是并没有展示出Hadoop的技术优势,适合 ...

  7. 使用ambari搭建Hadoop平台

    1.操作系统 CentoOS Server with GUI(有GUI,有浏览器*ambari基于浏览器*推荐latest stable version)2.分区 默认 + /hadoop3.网络设置 ...

  8. 搭建Hadoop平台&lpar;新手入门&rpar;

    刚刚大学毕业,接触大数据有一年的时间了,把自己的一些学习笔记分享给大家,希望同热爱大数据的伙伴们一起学习,成长! 资料准备: Hadoop-2.7.1下载:http://pan.baidu.com/s ...

  9. ubuntu下搭建hadoop平台

    终于把单击模式跟伪分布式模式搭建起来了,记录于此. 1.SSH无密码验证配置 因为伪分布模式下DataNode和NameNode均是本身,所以必须配置SSH localhost的无密码验证. 第一步, ...

随机推荐

  1. Visual Studio高级调试技巧

    1. 设置软件断点,运行到目标位置启动调试器 方法①:使用汇编指令(注:x64 c++不支持嵌入汇编) _asm 方法②:编译器提供的方法 __debugbreak(); 方法③:使用windows ...

  2. 工作流、业务流程管理和SOA

    http://www.cnblogs.com/shanyou/archive/2009/03/29/1424213.html 工作流定义: The  automation of a business ...

  3. PHP mkdir 方法 创建 0777 权限的目录问题

    php 中使用 mkdir() 方法创建 0777 权限的目录: $path = './Logs/secondCheck/';if(!is_dir($path)){ mkdir($path, 0777 ...

  4. Qt 之 自定义窗口标题栏(非常完善)

    http://blog.csdn.net/goforwardtostep/article/details/53494800

  5. 学习C&plus;&plus; Primer 的个人理解(十一)

    关联容器 就像是个字典, 其元素是 键 - 值 对. 关键字起到索引作用. 有序: map:关联数组:保存 健-值 对 set : 关键字既是值. multimap : 关键字可重复出现的map mu ...

  6. ORACLE union order by

    select * from ( select a.id,a.oacode,a.custid,a.custname,a.xsz,a.salename,a.communicationtheme,a.com ...

  7. 配置F5 负载均衡(转)

    转自<网络运维与管理>201406-11 配置F5交换机的问题在于,与平时所学的交换机.路由器思路完全不同,拿到设备后,完全不知如何下手. 网络拓扑图如下: 两台web服务器对外提供服务, ...

  8. java环境变量最佳配置

    1.打开我的电脑--属性--高级--环境变量  2.新建系统变量JAVA_HOME 和CLASSPATH 变量名:JAVA_HOME 变量值:C:\Program Files\Java\jdk1.7. ...

  9. 微信现金红包 python

    微信现金红包发送接口,好像没法限制一个用户一个活动只能领取一次红包,在调用红包接口上,自己做了限制 REDPACK_RECORD 建表sql -- Create table create table ...

  10. Spring Boot Controller相应JSP页面 错误whitelabel error page

    在学习SpringBoot显示JSP页面的时候出现了错误,Controller可以正常调用,但是JSP页面就是不能正常显示. whitelabel error page 解决:注释掉scope &lt ...