HDFS|HDFS 常用命令整理

时间:2025-03-22 07:06:11
1 查看目录下的文件目录
hdfs dfs -ls [路径]

样例:

# 查看根目录下的文件
hdfs dfs -ls /

# 查看 /demo 路径下的文件
hdfs dfs -ls /demo

如果查看的目录不存在,则会打印:

No such file or directory
2 创建空目录
hdfs dfs -mkdir [-p] [路径]

参数:

  • -p:自动创建上层目录(嵌套创建)

样例:

# 在根目录下创建 demo 文件夹
hdfs dfs -mkdir /demo

# 在 /demo 路径下创建 folder 文件夹(/demo 路径必须存在)
hdfs dfs -mkdir /demo/folder

# 在根目录下创建 demo 文件夹,并在 demo 文件夹中创建 folder 文件夹
hdfs dfs -mkdir -p /demo/folder
3 删除空目录
hdfs dfs -rmdir [路径]

样例:

# 在根目录下删除 demo 文件夹
hdfs dfs -mkdir /demo

如果删除非空的目录,则会打印:

Directory is not empty
4 删除目录
hdfs dfs -rm [-r] [-f] [路径]

样例:

# 删除根目录下的 demo 文件夹中的  文件
hdfs dfs -rm /demo/

# 删除根目录下的 demo 文件夹及文件夹中的内容
hdfs dfs -rm -r /demo

如果删除的路径不存在,则会打印:

No such file or directory
5 将 HDFS 文件存储到本地
hdfs dfs -get [-p] [-f] [HDFS路径] [本地路径]

参数:

  • -p:保留访问权限、修改时间等信息
  • -f:如果目标文件已存在,直接覆盖

样例:

# 将 HDFS 中 demo 文件夹中的  文件下载到本地当前目录
hdfs dfs -get /demo/ ./
6 将本地文件上传到 HDFS
hdfs dfs -put [-f] [-p] [-l] [-d] [-t <线程数>] [本地路径] [HDFS路径]

参数:

  • -f:如果目标文件已存在,直接覆盖
  • -p:递归上传

样例:

# 将本地当前目录中的  文件上传到 HDFS 的 demo 文件夹中
hdfs dfs -put ./ /demo/
7 设置权限
hdfs dfs -chmod [-R] [权限] [路径]

样例:

# 为 demo 文件夹增加写权限
hdfs dfs -chmod -R +w /demo