大数据生态系统基础：Hadoop（四）：Hadoop 3.0.0 HDFS SHELL 命令

一、介绍

       可以通过许多不同的方式从应用程序访问HDFS。在本地，HDFS为应用程序提供了一个文件系统Java API。这个Java API和REST API的C语言包装也是可用的。此外，还可以使用HTTP浏览器来浏览HDFS实例的文件。通过使用NFS网关，可以将HDFS作为客户机本地文件系统的一部分进行安装。

       使用 hadoop fs 命令可以直接操作 hdfs里面的文件，这些操作很类似 linux 的操作。

 

二、FS SHELL

      HDFS允许用户数据以文件和目录的形式进行组织。它提供了一个名为FS shell的commandline接口，它允许用户与HDFS中的数据进行交互。这个命令集的语法类似于其他用户已经熟悉的shell(如bash、csh)。以下是一些示例操作/命令对:

      

说明	命令
创建目录名 /foodir	bin/hadoop dfs -mkdir /foodir
删除目录名 /foodir	bin/hadoop fs -rm -R /foodir
查看/foodir/myfile.txt文件内容	bin/hadoop dfs -cat /foodir/myfile.txt

        FS shell 的内容比较多，可以参考：http://hadoop.apache.org/docs/r3.0.0-alpha4/hadoop-project-dist/hadoop-common/FileSystemShell.html

      

• appendToFile ：将单个src或多个srcs从本地文件系统附加到目标文件系统。还可以从stdin和附加到目标文件系统读取输入。
• cat ：查看文件内容
• checksum：返回一个文件的校验和信息。
  • hadoop fs -checksum hdfs://nn1.example.com/file1
  • hadoop fs -checksum file:///etc/hosts
• chgrp  ：更改组文件关联。用户必须是文件的所有者，或者是超级用户。-r ，表示目录下所有的内容
• chmod ：改变权限
• chown ：改变拥有者
• copyFromLocal：类似于fs -put命令，但源代码仅限于本地文件引用。
• copyToLocal
• count
• cp
• createSnapshot
• deleteSnapshot
• df
• du
• dus
• expunge
• find
• get
• getfacl
• getfattr
• getmerge
• help
• ls
• lsr
• mkdir
• moveFromLocal
• moveToLocal
• mv
• put
• renameSnapshot
• rm
• rmdir
• rmr
• setfacl
• setfattr
• setrep
• stat
• tail
• test
• text
• touchz
• truncate
• usage
• Deleting objects
• Overwriting Objects
• Timestamps
• Security model and operations
• Commands of limited value

二、DFSAdmin

 他的DFSAdmin命令集用于管理HDFS集群。这些命令只能由HDFS管理员使用。以下是一些示例操作/命令对:

说民	命令
设置集群为安全模式	bin/hdfs dfsadmin -safemode enter
查看DataNodes的说明报告	bin/hdfs dfsadmin -report
重新校验或解除DataNode(s)	bin/hdfs dfsadmin -refreshNodes

三、浏览接口

 典型的HDFS安装配置一个web服务器，通过一个可配置的TCP端口来公开HDFS命名空间。这允许用户浏览HDFS名称空间，并使用web浏览器查看其文件的内容。

四、空间回收

 1、文件删除和恢复

           如果启用了垃圾配置，那么通过FS Shell删除的文件不会立即从HDFS中删除。相反，HDFS将它移动到一个垃圾目录(每个用户都有自己的垃圾目录下/用户/用户名/.Trash)。只要文件还在垃圾中，文件就可以迅速恢复。


           最近删除的文件被移动到当前的垃圾目录(/用户/用户名/.trash/current)，并且在一个可配置的时间间隔内，HDFS在当前的垃圾目录中创建检查点(在/用户/用户名/.Trash/<date>)，并在过期时删除旧的检查点。请参阅FS shell关于清除垃圾的命令。


       在垃圾结束后，NameNode从HDFS名称空间中删除了文件。文件的删除会导致与该文件相关的块被释放。注意，在一个用户删除文件和在HDFS中相应增加空闲空间的时间之间，可能会有一个明显的时间延迟。


        下面是一个示例，它将展示如何通过FS Shell将文件从HDFS中删除。我们在删除目录下创建了两个文件(test1和test2)

$ hadoop fs -mkdir -p delete/test1
$ hadoop fs -mkdir -p delete/test2
$ hadoop fs -ls delete/
Found 2 items
drwxr-xr-x   - hadoop hadoop          0 2015-05-08 12:39 delete/test1
drwxr-xr-x   - hadoop hadoop          0 2015-05-08 12:40 delete/test2

我们将删除文件test1。下面的注释显示该文件已被移动到垃圾目录。

$ hadoop fs -rm -r delete/test1
Moved: hdfs://localhost:9820/user/hadoop/delete/test1 to trash at: hdfs://localhost:9820/user/hadoop/.Trash/Current

现在，我们将使用skip垃圾箱选项删除该文件，该选项不会将文件发送到垃圾。它将完全从HDFS中删除。

$ hadoop fs -rm -r -skipTrash delete/test2
Deleted delete/test2

我们现在可以看到，垃圾目录只包含文件test1。

$ hadoop fs -ls .Trash/Current/user/hadoop/delete/
Found 1 items\
drwxr-xr-x   - hadoop hadoop          0 2015-05-08 12:39 .Trash/Current/user/hadoop/delete/test1

因此，文件test1将被删除，文件test2被永久删除。

 

2、降低复制因子

    当文件的复制因子减少时，NameNode会选择可以删除的多余副本。下一个心跳将这些信息传输到DataNode。然后DataNode删除相应的块，并在集群中显示相应的空闲空间。再一次，在setrepapi调用的完成和集群中的空闲空间的出现之间可能会有一段时间延迟。