在hadoop 官网上 我们就能看到 点击打开链接 hadoop主要是有一下四个模块构成的
一
1 hadoop Common :为其他hadoop模块提供基础设置。
2 hadoop DFS :一个可靠的高吞吐的分布式文件系统
3 hadoop MapReduce :一个分布式的离线并行计算框架
4 hadoop YARN 集群资源统一管理和任务调度
其中2 3 4 是hadoop的三大核心模块。
二 hdfs(hadoop hdfs)
Hadoop Distributed File System
易于扩展的 分布式文件系统
运行在大量的廉价机器上提供容错机制
为大量用户提供不错的文件存取
hdfs的主要目标
存储量大
自动检测应对硬件的错误
流失访问数据
移动计算比移动数据本身更划算
简单一致性模型
异构平台可移植
官网学习地址点击打开链接