hdfs 上传文件(写数据)流程
需求:向hdfs上传 300M文件text.txt 到 /mydir 目录
注意:客户端会把300M文件切分为128M(blk_1)、128M(blk_2)、44M(blk_3)三块,切块大小需要根据hadoop的配置来,2.x以上默认是128M
- 1、向namenode请求上传文件 text.txt 到 hdfs的/mydir目录下
- 2、namenode返回允许上传的状态
- 3、上传text.txt的blk_1
- 4、namenode返回上传的datanode路径{blk_1,[dn1,dn2,dn3]}
- 5、client请求3台dn中的一台dn1上传数据(本质上是一个RPC调用,建立pipeline),dn1收到请求会继续调用dn2,然后dn2调用dn3,将整个pipeline建立完成,逐级返回客户端
- 6、client开始往dn1上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位,dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答
- 7、当一个block传输完成之后,client再次请求namenode上传第二个block的服务器
基本流程如图所示: