bin/hadoop命令操作:
| namenode -format | 格式化文件系统 |
| fs(缩写:FileSystem) | 运行一个文件系统的用户客户端 |
bin/hadoop fs常用命令操作:
-ls hdfs路径:查看hdfs结构信息.
-lsr hdfs路径 递归显示(list status recursive)
hdfs中第一位表示类型,d:文件夹也是个目录,后边9位是它的访问目录权限
-:在linux下是一个数值,在hdfs表示的是副本数,目录是一个虚的东西,不需要备份,
root:在后边是创建者和创建者所在组,
0:然后是大小,目录本身是虚的东西,所以没大小,
215-03-22 10:21:在之后是最新的修改时间,
/dir1:最后表示的是目录的名称
-mkdir:创建文件夹
-touchz:创建文件
文件是有副本数的,大小是0,这里副本数是3
在hdfs中不能无中生有的创建一个有内容的文件,只能通过外部的客户端把有内容的给上传上去.
touchz创建的文件是没有内容的,但是在我们的hdfs中有一种文件,只要存在就表达某一种含义,有没有内容已经是两说了.标记文件.
-put 源目录 hdfs目录
如果目的地是一个已经存在的文件夹时,新文件上传到文件夹内,文件名是原来的文件名;
如果目的地是一个已经存在的文件夹时,假设原文件已经存在,再次上传报错;
如果目的地是一个不存在的路径时,新文件上传成功,文件名是目录路径名称.
-text hdfs路径:查看文件内容
-text hdfs路径 | grep,-text hdfs路径 | more:文件很大的情况下,加管道过滤,也可以下载到本地查看,文件很大也没有查看的必要
mapredce最后是把结果放在hdfs中,主要作用是计算不是上传.
-get hdfs路径 本地路径
. :表示linux当前路径
-rmr hdfs路径:递归删除
hadoop fs : 查看更多命令
hadoop fs -help 具体命令 :查看具体某一条命令的用法
du hdfs路径:显示路径中所有文件的大小,当只指定一个文件时,显示此文件的大小.
-dus hdfs路径:显示文件的大小
"hdfs://hadoop1:9000/",前缀可省略,直接写成"/",两种写法表达的含义是一样的,如果不写的话,hadoop客户端在运行的时候去本地找配置文件conf/core-site.xml中的"fs.default.name"的值,自动添加到我们的"/"前边
如果我们在上传的过程中不写"/",则会上传到当前用户的目录中去
参阅Hadoop FS Shell命令大全;