hadoop运行到mapreduce.job: Running job后停止运行

时间:2022-06-07 09:14:56

版本信息:Hadoop2.7.1, openjdk 8,运行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本;

问题,在伪分布环境下,运行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z.]+'(Hadoop2.7.1里的实例)时,运行到INFO mapreduce.Job: Running job:job_....之后,就不再运行了,没有错误提示,ubuntu也基本死了。

网上解决方法:
(1)有说服务未启动的。但jps后发现6个服务都启动了,包括NameNode,SecondaryNameNode, ResourceManager, DataNode, NodeManager和jps;
(2)有说hosts文件的问题。经检查/etc/hosts中两条 127.0.0.1 localhost和127.0.1.1 <username> (<username>显示的是我的用户名)很正常;
(3)有说yarn-site.xml等文件未配置正确。经检查与官网(http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html)上所说完全一致;

最终解决方法:
原来仅是VirtualBox创建Ubuntu时分配的资源太少了:
机器配置:内存4096M、硬盘500G、4个CPU、显存128M
默认分配:内存768M、硬盘8G、1个CPU、显存12M
改变后分配值:内存1987M(提示分配给虚拟内存最高的数值,即1988M时VitualBox就提醒我分配内存太高)、硬盘64G、2个CPU、36M显存
以上数值,非专业调整,都是我感觉着调整的,也未必合理。

最终示例顺利运行过去了。