第一次安装hadoop记录

时间:2022-07-13 16:41:10

 需求是:安装hadoop连接远程hadoop文件系统。JDK和hadoop需要与集群版本一致

首先去官网下载hadoop http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/  版本是2.6.5 下载190MB的那个包  下载下来后 配置D:\developer\hadoop-2.6.5\etc\hadoop 配置core-site.xml 

<name>fs.defaultFS</name>
<value>hdfs://118.31.116.226:9000</value> 默认连接hadoop 的HDFS路径。然后运行wordcount demo  官网给的demohttp://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html

运行main方法时报错:(null) entry in command string: null chmod 0700  原因是hadoop缺少运行库 

解决办法:

https://github.com/SweetInk/hadoop-common-2.7.1-bin

中下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录 。

https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载hadoop.dll,并拷贝到c:\windows\system32目录中。

 

    欢迎大家与我讨论!