需求：向hdfs下载文件text.txt
- 1、 向namenode请求要下载的text.txt，namenode返回文件所在的datanode块位置信息
- 2、client挑选一台datanode（就近原则，然后再随机）服务器，请求建立socket流
- 3、datanode开始读取数据（从磁盘读取数据至流里面，以packet为单位来做校验）
- 4、客户端以packet为单位接收，先缓存在本地，然后写入目标文件
- 5、如果存在多个块，则是文件追加的过程
相关文章
- hdfs 下载文件（读数据）流程
- 查看HDFS的元数据文件fsimage和编辑日志edits
- 大数据学习3——分布式文件系统HDFS
- 大数据之HDFS的读写删操作流程
- spark streaming消费kafka数据写入hdfs避免文件覆盖方案(java版)
- 最新版NASA官方网站数据下载流程——以MODIS数据演示为例
- 408王道考研【数据结构】思维导图（章节详细可下载xmind文件）
- HDFS页面下载数据文件报错解决
- [转] 查看HDFS文件系统数据的三种方法
- 嵌入式学习37-TCP并发模型-有限 2.IO模型: 1.阻塞IO: 没有数据到来时,可以让任务挂起 节省CPU资源开销,提高系统效率 2.非阻塞IO: 程序未接收到数据时一直执行 效率很低 3.异步IO 只能绑定一个文件描述符用来 读取数据 4.多路复用IO select 1.select监听的集合中的文件描述符有 上限限制 2.select有 内核层 向 用户层数据空间 拷贝 的过程,占用系统资源开销 3.select必须 轮询检测 产生 事件 的文件描述符 4.select 只能工作 在 水平触发 模式(低速模式) 无法工作 在 边沿触发 模式(高速模式) poll （监听的集合中的文件描述符有 没有上限限制） 1.poll有 内核层 向 用户层 数据空间 拷贝 的过程,占用系统资源开销 2.poll必须 轮询检测 产生 事件 的文件描述符 3.poll 只能工作在水平触发模式(低速模式) 与select相同 无法工作在边沿触发(高速模式) 3.函数接口: 1.select int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); 功能: select 监听 文件描述符集合 中 是否 有文件描述编程 ready状态 select 监听 文件描述符集合 中 ，若有状态 ， 将没有ready状态的T除 若无状态，将阻塞继续等待 参数: nfds: 最大文件描述符的值 +1 readfds: 读 文件描述符集合 writefds: 写 文件描述符集合 exceptfds: 其余 文件描述符集合 timeout: 等待的时长 NULL 一直等待（超时处理） 返回值: 成功 返回 文件描述符集合中 的 文件描述符个数 失败 返回 -1 void FD_CLR (int fd, fd_set *set); 功能: 将文件描述符 fd 从集合中清除