常用HDFS操作命令

时间:2024-06-15 14:05:26

前一段时间频繁使用HDFS,又收集到了一些命令,在这儿分享出来,大数据的框架及设计原理方面的理论文章暂时还没有时间总结,后面有时间逐渐整理发出来。

  注:在使用命令时,可以使用 hadoop fs,如果配置了环境变量,可以使用 hdfs dfs 和 hadoop fs 这个两个命令。

  #export HADOOP_USER_NAME=hdfs          --设置hadoop_user_name

  #hdfs dfs -help                    --查看hdfs帮助

  #hdfs dfs -ls /        #hadoop fs -ls /         --查看根目录文件
  #hdfs dfs -put sourcepath savepath            --hdfs上传文件,-f 覆盖已有文件;-p 保留原文件属性
  #hdfs dfs -get sourcepath savepath            --hdfs下载文件

  #hdfs dfs -mkdir -p /output/dirname              --创建文件夹dirname

  #hdfs dfs -mkdir -p /output/dirname            --创建多级目录

  #hdfs dfs -touchz /input/filename             --创建文件filename
  #hdfs dfs -cat /input/filename                 --查看文件filename

  #hdfs dfs -du -s /input/                   --查看所有文件大小和字节大小
  #hdfs dfs -cp /sourcefile /targetfile              --复制文件
  #hdfs dfs -rm /directory/                 --删除文件
  #hdfs dfs -rm -R /directory/                  --删除文件夹,-R循环删除文件夹里面的文件

  #hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename         --找回删除文件

  #运行MapReduce: hadoop jar jarpath inputfilepath outputdir
  #hadoop jar /opt/test.jar /input/test/test.txt /output/test/
  #yarn jar /opt/test.jar /input/test/test.txt /output/test/

  #hdfs dfs -getmerge sourcepaths savefilename         --合并文件
  #hdfs dfsadmin -report                   --查看HDFS的基本统计信息

  #hdfs dfs -text /input/log.txt                 --将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro

  #hdfs dfs -appendToFile /sourcefile /targetfile         --向目标文件中追加内容

  #hdfs dfs -count /input/test/                 --统计文件夹和文件个数

  #hdfs fsck /data/test.csv -files -racks -locations -blocks       --查看文件分区存储情况

  #tail -f filename.log                      --动态查看log日志

1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量

  #export HADOOP_USER_NAME=hdfs            --设置hadoop_user_name