声明： 1）本文由我原创撰写，转载时请注明出处，侵权必究。
2）本小实验工作环境为Ubuntu操作系统，hadoop1-2-1，jdk1.8.0。
3）统计词频工作在单节点的伪分布上，至于真正实际集群的配置操作还没有达到，希望能够由本文抛砖引玉。
（一）Hadoop的配置修正
- 网上有很多Hadoop的配置教程，可自行寻找，这一部分主要是根据自身实际情况，结合自身特点，设置Hadoop。因为有时候根据别人的教程，设置总是不成功，因为别人的教程依赖于别人的软件或操作环境特点。
- 本部分也不可能提供万能方法，只是把我的修正过程展示出来，给有需要的人使用，而无需要的人仍然需要自我探索。
- ssh-keygen配置（注意，这是单节点的ssh配置）
按照网上教程，这一部分的设置很乱，有时候我还不成功，所以我琢磨了几天，然后决定修正前辈们的教程，决定用下面的方法步骤实现。
输入生成ssh钥匙的指令后，会遇到三行的提示。
当遇到提示输入文件名或是密码的地方不用管，只需按回车键即可。完成之后，在/home/username("username"是登录名)目录下会有生成 一个".ssh"目录，"ls .ssh"之后会发现里面有两个文件，一个是id_rsa,另一个是id_rsa.pub,前者是私钥，后者是公钥。
在终端输入
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
建立信任连接列表
在终端输入
ssh localhost
如果有错误提示,类似"ssh: connect to host localhost port 22: Connection refused"，说明你没有安装ssh-client。
此时只需要在终端输入
sudo apt-get install openssh-client
安装完成后，再输入"ssh localhost"就应该没有问题了。按照提示输入相关信息就可以了。
登入时，显示update，记得登出！
输入exit登出即可。
再执行一次登入登出，则以后ssh无密码。
- Hadoop-env.sh文件配置写入（修正Hadoop环境变量，在原教程基础上还要做得一项工作）
export JAVA_HOME=/usr/lib/jvm/jvm1.7.0_25
export HADOOP_HOME=/usr/hadoop-1.2.1
export PATH=$PATH: /usr/hadoop-1.2.1
若提示export路径错误，请给上面的路径加上双引号。
并source 此sh文件
- 启动伪分布时可能出现的环境变量问题
若出现Warning: $HADOOP_HOME is deprecated.
（1）注释掉hadoop-config.sh里的上面给出的这段if fi配置（不推荐）
（2）在当前用户home/.bash_profile里增加一个环境变量：
export HADOOP_HOME_WARN_SUPPRESS=1
注：修改完.bash_profile后需要执行source操作使其生效
（二）伪分布启动
- 先格式化hdfs文件系统
bin/hadoop namenode –format
- 再启动hadoop进程
bin/start-all.sh
如果配置没什么问题，那么hadoop就启动了，启动过程中，有一些信息打印出来，告诉你日志的输出目录。
- 下面做个测试，执行以下命令
bin/hadoop fs -put conf input
这个命令的意思是将当前目录下的conf目录的内容拷贝到hdfs文件系统的input目录。
|
web界面 下面是默认地址和端口 NameNode http://localhost:50070/ JobTracker http://localhost:50030/ NameNode界面，主要显示以下信息： 启动时间 编译时间 版本 HDFS文件目录结构 NameNode日志信息 分布式集群节点信息，如果死亡的节点，活动的节点，HDFS空间大小和使用率以及存储状态 JobTracker界面，其实是一个MapReduce管理界面，里面描述了以下信息 分布式计算的任务调度信息 集群分布式计算信息 如 正在运行的计算 已经完成的计算 失败的计算 本地的日志 |
注意：此指令意思是在分布式系统内新建一个input目录，然后把本机上的conf目录里的文件复制到分布式input目录里，所以会有两个推论：
1）只有在分布式里才能看得见input目录，即浏览器打开的MapReduce网址里，点开链接才能看得见input目录和里面的conf零碎文件，对照一下，发现是一样的，所以是复制过来的。值得一提的是input在分布式里的路径是/user/root/input
2）如果指令写成
bin/hadoop fs -put bin newfile
那么意思就是把本机的bin文件里的文件复制到分布式的新建一个目录，名叫newfile里。
- 再执行这个命令
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
请注意，你的bin文件夹有没有这个demo例程，如果没有这条指令就没有用，那就意味着不会有程序的输入输出，所以下一个指令，有可能不成功，因为你没有程序的输出结果，自然不会有output
- 再执行这个命令
bin/hadoop fs -get output output 这句意思是将hdfs文件系统的output目录你内容拷贝到本地的output目录
cat output/* 打印本地output目录内容，其实就是打印执行结果拉。
或者直接在hdfs文件系统上查看：
bin/hadoop fs -cat output/*
如果保证确有demo，而且运行了，那么才有output目录，这些命令才能成功。假设你没有demo，简单修改一下指令即可，修改如下:
bin/hadoop fs -get intput output
这么修改的原因，我也是猜测的，我猜测input所在的命令位置是出于分布式里的源文件，后面的output位置表示本机的output目录。这样根据命令，它会自动寻找HDFS系统的里input目录，然后复制到本机上。
- 哈，成功！如果需要刹车停下，可以执行下面指令
bin/stop-all.sh
（三）DEMO尝试
- 首先理解MapReduce的功能作用
bin/hadoop namenode -format
- 再选择一个DEMO进行尝试，在这里我选择的是单词统计WordCount程序，其代码撰写见wordcount.java
- 我再次打开伪分布时出现致命的两个问题
1）执行bin/hadoop fs -put conf input时提示error，如下
Target input/conf is a directory
竟然不允许我复制，令人惊讶的是，之前首次测试我用的就是这个指令啊？首次可以，第二次不可以？
2）启动伪分布后，namenode的活跃节点显示为零，我就明白了伪分布没有真正的启动。
- 通过不断的网络博客论坛的寻找，找到了原因所在
|
有时数据结构出现问题会产生无法启动datanode的问题。 然后用 hadoop namenode -format 重新格式化后仍然无效，/tmp中的文件并没有清除。 其实还需要清除/tmp/hadoop*里的文件。 执行步骤： 一、先删除hadoop:/tmp bin/hadoop fs -rmr /tmp 二、停止 hadoop bin/stop-all.sh 三、删除/tmp/hadoop* rm -rf /tmp/hadoop* 四、格式化hadoop bin/hadoop namenode -format 五、启动hadoop bin/start-all.sh 之后即可解决这个datanode没法启动的问题 |
- 再将统计词频程序运行在单点伪分布上，需要有三个步骤
1）要有源程序，貌似这是句废话，但是只有实践了才知道这句话是多么的痛的领悟！源程序的获取，我遇到两个问题：
一是Ubuntu系统下javac编译源程序，总是报编码错误，经过我修改指令后，要么UTF8错误，要么Unicode错误。我修改的指令如下：
javac –encoding GBK WordCount.java （GBK换成其他的编码也可以）
结论就是无尽的失败，怎么编译就是得不到class文件，最终解决方法就是我找了一个class文件的源程序。
二是class程序在Ubuntu又打不开，什么剧情？！java后缀文件可以打开，编译不了，class后缀文件打开不了却可以用。对Ubuntu的指令程序模式很佩服，但对于缺少界面的操作，习惯了Windows下利用有界面的软件可以反复调试，现 在缺少交互界面，很是伤脑筋！
2）利用class程序进行打包，以备Hadoop可以调用该打包好的jar。结果我又遇到问题：
打包没有问题，指令如下：
jar cvf WordCount.jar WordCount.class
该死的Jar包无法识别，使用如下指令时，报出程序代码的本身错误：
bin/hadoop jar WordCount.jar WordCount HDFSWordCount Output
先需要声明一下上面的指令含义，虽然执行失败，但是后面会提到相关的意义。上面的指令，按照顺序的含义就是，使用hadoop程序的jar shell去调用本机的某个jar包，具体调用的是这个jar包里面某个类，然后最后两个参数，前面是分布式的输入目录，后者是分布式的输出目录。
解决的问题关键在于，这个WordCount程序不能割裂开来，单独打包，因为我寻找的这个程序在编写时已经集成在jar里，被我单独提取出来，反而导致问题。因此我直接使用example.jar。
3）解决上述问题的方式就是寻找了一个集成的jar包，这个jar包里有很多程序，其中就有统计词频的，此时再执行指令：
bin/hadoop jar Hadoop-examples-1.2.1.jar WordCount HDFSWordCount Output
请注意：仍然失败！后修改成为如下，再次执行
bin/hadoop jar Hadoop-examples-1.2.1.jar WordCount.class HDFSWordCount Output
请注意：又是失败！怨念四起！
最后琢磨一下，明白了，立刻得到最后的正确答案，就是如下指令：
bin/hadoop jar Hadoop-examples-1.2.1.jar wordcount HDFSWordCount Output
成功！
并显示作业流程，具体的统计词频结果，由于你的指令，生成在分布式的Output目录里呢，如何查看？可以执行如下指令：
bin/hadoop fs –cat Output/part-r-00000
哈哈，就可以看到程序的具体统计结果啦！
- 最后弥补之前有些没有提到的，以及想吐槽的一些话
1）做实验的统计词频，当然是需要测试数据集，自行建立一个TXT，然后随便写点单词之类的东西上去就成。
，不仅仅是因为两个文本，更重要的是如果不设置MapReduce的参数，默认按照文件的数量来划分块，所以为什么看到每个文件（即使是几KB的小文件），占据着64M的文件块。所以在优化上，还有待学习提高。
3）下一阶段我的目标是要租借几个云服务器，实现自己的分布式小程序。由于上述教程贴图实在是破坏排版，所以我把上面实验的一些结果图全部粘贴在本文末尾。
上图为词频统计的输入样本（一共两个，这是第一个）
上图为词频统计的输入样本（一共两个，这是第二个）
上图为通过Hadoop执行词频统计jar包的流程示意图
上图为，输入目录（即样本所在目录位HDFSWordCount），根据指令生成保存输出结果的目录为Output
上图为在分布式上生成的输出目录里的具体文件（part-r-00000是保存程序结果的文件）。
上图为查看输出目录里的统计结果
<<<<<<<<< 写在文章最后的小额打赏 >>>>>>>>>
如果读者亲愿意的话，可以小额打赏我，感谢您的打赏。您的打赏是我的动力，非常感激。
必读：如您愿意打赏，打赏方式任选其一，本页面右侧的公告栏有支付宝方式打赏，微信方式打赏。
避免因打赏产生法律问题，两种打赏方式的任一打赏金额上限均为5元，谢谢您的支持。
如有问题，请24小时内通知本人邮件。