因为计算机配置过低,在虚拟机里几乎无法使用Eclipse,效率极低!
所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop,步骤如下:
开发环境:Hadoop2.7.1,Ubuntu Kylin 14.04
1.修改配置文件core-site.xml,将其中localhost改为虚拟机的ip地址:
在Ubuntu中,打开控制台,使用命令ifconfig查看虚拟机ip,如图:
修改【hadoop安装路径】/etc/hadoop下的core-site.xml文件,如图:
2.安装Hadoop-Eclipse-Plugin
(以下操作在Window系统中进行)
下载hadoop2x-eclipse-plugin:(下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin)
解压hadoop2x-eclipse-plugin,将其中的hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse安装目录下的plugins文件夹中,启动Eclipse。
将hadoop安装包解压到windows系统中(下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/),这里我解压到D:\hadoop
选择 Window 菜单下的 Preference,左侧找到Hadoop Map/Reduce,填写刚刚解压的Hadoop目录,如图:
3.配置Hadoop-Eclipse-Plugin
选择 Window 菜单下Show View——Other,找到Map/Reduce Localtions,点击Open,如图:
在Map/Reduce Locations面板中右击,选择New Hadoop location
配置如下:
4.启动hadoop,此时已经可以看到HDFS中的文件了:
遇到问题:
但现在修改HDFS上的内容时,会出现如下错误:
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x
解决办法:
修改hdfs-site.xml文件,添加以下内容:
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>
如图:
参考文章:
https://blog.csdn.net/hsl_1990_08_15/article/details/50704425