这个工具在cloudera下运行会出错, 其实map和reduce分别都完成了,但就是在最后一步会报错:
java.io.FileNotFoundException: TestDFSIO_results.log (Permission denied)
原因是运行程序一般使用hdfs身份运行,但是这时写result文件没有权限。虽然TestDFSIOresults.log文件是保存在本地并不是保存在HDFS之上,但是反正我是找了很久都没有找到该文件的默认保存路径,所以在命令后要指明该文件的保存路径
例如如下所示:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-bc1.3.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10B -resFile /tmp/TestDFSIOresults.txt