【Hadoop离线基础总结】HDFS入门介绍

时间：2023-03-09 15:15:03
【Hadoop离线基础总结】HDFS入门介绍

HDFS入门介绍

概述

HDFS全称为Hadoop Distribute File System，也就是Hadoop分布式文件系统，是Hadoop的核心组件之一。

分布式文件系统是横跨在多台计算机上的存储系统，主要解决的就是大数据存储的问题

【Hadoop离线基础总结】HDFS入门介绍

特性

  • master/slave架构

    HDFS集群一般是由一个 NameNode 和一定数目的 DataNode 组成。NameNode 是 HDFS 集群主节点，DataNode 是 HDFS 集群从节点。
  • 分块存储

    分块存储存在的原因：

    假如有100台机器，每台机器只有1T。现在有一个2T的文件，单独存放在一台机器上是无法实现的。那么分块存储就能派上用场，它可以将2T的文件分成很多大小为128M的block块儿，将这些block块分别存储在不同的机器上。
  • 名字空间（NameSpace）

    Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改（用户可以创建、删除、移动或重命名文件）都将被 Namenode 记录下来。

    统一的命名空间：对外提供统一的文件访问地址
  • Namenode元数据管理

    就是将所有的元数据信息保存起来方便查找
  • DataNode数据存储

    就是出磁盘，用来存储文件数据
  • 副本机制

    用来应对block块丢失的情况（副本数量也可以通过参数设置 --> dfs.replication ，默认是3）
  • 一次写入，多次读出

    hdfs文件系统适合频繁读取，不适合频繁写入，因为改变文件涉及到元数据的改变。因此适合用来做大数据分析的底层存储服务，并不适合用来做网盘等应用。

基本命令使用（使用格式：hdfs dfs -command [option] ）

  • ls

    hdfs dfs -ls /dirName 查看目录内容

    hdfs dfs -ls -R /dirName 递归查看目录内容（将目录中的所有的内容都呈现出来）
  • lsr

    过期的hdfs dfs -ls -R /dirName
  • mkdir

    hdfs dfs -mkdir /dirName 创建目录

    hdfs dfs -mkdir -p /dirName1/dirName2 创建多级目录
  • moveFromLocal

    hdfs dfs -moveFromLocal LocalSrc dst 从本地向HDFS移动内容
  • moveToLocal

    从HDFS向本地移动内容（但是还不能用）
  • mv

    hdfs dfs -mv /FileName1 /FileName2 重命名（目录也适用）

    hdfs dfs -mv /FilePath dst 移动文件或目录
  • put

    hdfs dfs -put localSrc dst 将本地内容复制到HDFS上
  • appendToFile

    hdfs dfs -appendToFile localsrc … dst 将本地一个或多个文件追加到HDFS指定文件中
  • cat

    hdfs dfs -cat URI 查看HDFS文件内容
  • cp

    hdfs dfs -cp URI dst 将HDFS上的某个文件复制到HDFS指定文件
  • rm

    hdfs dfs -rm URI 删除HDFS上的指定文件

    hdfs dfs -rm -rf URI 强制删除HDFS上的指定文件
  • rmr

    过期的 hdfs dfs -rm -r URI
  • chmod

    hdfs dfs -chmod mode URI 修改HDFS上指定文件的权限

    hdfs dfs -chmod -R mode URI 递归地修改HDFS上指定文件的权限
  • chown

    hdfs dfs -chown owner:grouper URI 修改HDFS上指定文件的所属用户和所属组

    hdfs dfs -chown owner:grouper URI 递归地修改HDFS上指定文件的所属用户和所属组
  • expunge

    hdfs dfs -expunge 清空回收站

高级命令使用

  • HDFS文件限额配置

    数量限额：

    hdfs dfs -mkdir -p /user/root/lisi 创建hdfs文件夹

    hdfs dfsadmin -setQuota 2 lisi 给该文件夹下面设置最多上传两个文件（文件限额数包括用户文件夹本身，也就是限额两个只能上传一个文件）

    hdfs dfsadmin -clrQuota /user/root/lisi 清除文件数量限制

    空间限额：

    hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi 限制空间大小4KB

    hdfs dfsadmin -clrSpaceQuota /user/root/lis 清除空间限额
  • HDFS安全模式

    集群刚启动就是安全模式，对外不提供任何服务，只自检，自检没问题的话，30s后自动脱离安全模式。

    hdfs dfsadmin -safemode   手动启动安全模式
	enter	|	leave	|	get	  |		wait

 进入安全模式	 退出安全模式	 获取当前安全

						 模式是否启动

基准测试

  • 概述

    hadoop的环境搭建完成之后，第一件事就是进行压力测试，测试我们的集群的读取和写入速度，测试我们的网络带宽是否足够等一些基准测试
  • 测试写入速度

    向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到 /benchmarks/TestDFSIO 中
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO  -write -nrFiles 10 -fileSize 10MB

查看写入速度结果

hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
  • 测试读取速度

    在HDFS文件系统中读入10个文件,每个文件10M
hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看读取速度结果

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000
清除测试数据

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean

相关文章