Eclipse 搭建 hadoop 环境

时间:2022-09-18 15:01:34

Eclipse 上集成 Hadoop 的环境

  • 配置本地路径下 hadoop 的环境
    将 hadoop 安装包解压到本地路径下并添加系统的环境变量
    我用的是 win10 系统,环境变量的设置如下所示:
    Eclipse 搭建 hadoop 环境
    设置完环境变量重启电脑使其生效。
  • 将 hadoop-eclipse-plugin-2.7.3.jar 放在 Eclipse 的安装目录下的 plugins 目录下
    重启 eclipse 会出现 DFS Locations 图标
    Eclipse 搭建 hadoop 环境
  • 配置 eclipse 中的 hadoop
    在工具栏中点击 window -> show view -> mapreduce Locations
    Eclipse 搭建 hadoop 环境
    在工作区会出现 mapreduce Locations 窗口,就是一个 hadoop 图标黄色小象,点击右上角带有加号的蓝色小象新建一个链接
    Eclipse 搭建 hadoop 环境
    Eclipse 搭建 hadoop 环境

设置完成就可以通过 eclipse 链接到 hadoop 集群查看 hdfs 文件系统中的文件

出错及解决:

  1. 在 eclipse 连接 hadoop 的时候会一直处于连接状态却连接不上:把 hadoop 安装目录下的 bin/hadoop.dll 复制到系统路径下 C:\Windows\System32
  2. hdfs 出现拒绝连接的错误:发现是启动 hadoop 的进程出错了,namenode 进程没有正常启动。重新格式化 namenode ,重启 hadoop 即可。