HDFS分布式文件系统的常用命令行操作

时间:2022-11-09 13:00:22

一、HDFS的客户端种类

  1.网页形式  =>用于测试

    网址为你的namenode节点的ip+50070的端口号,如:

    192.168.50.128:50070

  2.命令行形式 =>用于测试

  3.企业级API

 

二、HDFS客户端的命令行操作

  注释:/hdfs为HDFS上的目录  /root/linux为本地集群路径

  1.查看帮助

    hdfs dfs -help

  2.查看目录下的信息

    hdfs dfs -ls /

    hdfs dfs -ls -R /  (查看根目录下所有文件和目录)

  3.上传文件到HDFS集群

    hdfs dfs -put /root/Linux/Dilireba.txt /hdfs  (复制)

    hdfs dfs -moveFormLocal /root/Linux/a.txt /hdfs/a.txt  (剪切)

 

  4.下载文件到本地

    hdfs dfs -get /hdfs/a.txt /root/linux/a.txt

  5.合并下载

    hdfs dfs -getmerge /hdfs /root/linux/aa.txt

  6.创建目录

    hdfs dfs -mkdir /wyh

    hdfs dfs -mkdir -p /wyh/dilireba/love  (多级创建)

  7.移动/重命名HDFS中的文件或目录

    hdfs dfs -mv /hdfs/a.txt /hdfs/out/a.txt  移动

    hdfs dfs -mv /hdfs/a.txt /hdfs/b.txt  重命名

  8.复制HDFS文件到目标路径

    hdfs dfs -cp /hdfs/a.txt /hunter

  9.删除文件或目录

    hdfs dfs -rm /hdfs/a.txt

    hdfs dfs -rm -r /hdfs

  10.查看HDFS中的文件

    hdfs dfs -cat /hdfs/a.txt

    hdfs dfs -tail -10 /hdfs/a.txt  查看后十行数据

  11.查看目录中的文件、目录的数量和大小

    hdfs dfs -count /hdfs

  12.查看HDFS的总空间

    hdfs dfs -df /    以字节为单位

    hdfs dfs -df -h /     智能单位,可读性高

  13.修改某文件的副本数

    hdfs dfs -setrep 2 /hdfs/a.txt  修改a.txt文件副本数为2,默认为3

  14.开启/关闭HDFS的安全模式

    hdfs dfsadmin -safemode enter/leave