Hadoop的benchmark测试IO性能测试TestDFSIO测试时java.io.FileNotFoundException: TestDFSIO_results.log (Permission

时间:2022-06-11 08:36:16

这个工具在cloudera下运行会出错, 其实map和reduce分别都完成了,但就是在最后一步会报错:

java.io.FileNotFoundException: TestDFSIO_results.log (Permission denied)

原因是运行程序一般使用hdfs身份运行,但是这时写result文件没有权限。虽然TestDFSIOresults.log文件是保存在本地并不是保存在HDFS之上,但是反正我是找了很久都没有找到该文件的默认保存路径,所以在命令后要指明该文件的保存路径

例如如下所示:

 bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-bc1.3.2-tests.jar    TestDFSIO   -read   -nrFiles  10   -fileSize   10B   -resFile      /tmp/TestDFSIOresults.txt