随着大数据的风生水起，以Hadoop家族为代表的软件逐步占据了大数据处理的广阔地盘，Hadoop也从小众领域变成了大数据开发的标准。在Hadoop原有技术基础之上，Hadoop家族产品日益庞大，你了解哪些hadoop家族产品？快来看看它们的主要成员吧。
一、基于Hadoop的生态圈
HDFS
用于解决海量数据存储问题。
MapReduce
为海量数据提供计算框架。
Common
提供基础支撑功能，是Hadoop体系底层模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。
Hive
hive有一套映射工具，可以把SQL查询转换成MapReduce中的job来运行，使你从繁琐的MapReduce程序中解脱出来，用更简单更直观的语言去写程序。但它的缺点是速度较慢。
HBase
既然Hive的速度较慢，那么有没有较快的数据库呢？那就是HBase，HBase查询的速度很快。
Sqoop
如果数据存在MySQL，Oracle等数据库，怎么导入到HDFS中？Sqoop提供了关系型数据库与HDFS间的相互转换。
Flume
服务器这么多，如果其中一台有点问题，或者哪个服务出现问题，如何知道哪里出问题了？Flume提供了一个高可靠的日志采集系统。
Mahout
Mahout是一个分布式机器学习算法的集合，Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘，能帮助开发人员更快捷地创建智能应用程序。
Pig
Pig是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。
Zookeeper
解决分布式环境下的数据管理问题：统一命名、状态同步、集群管理、配置维护等。
Ambari
安装、管理和监控Hadoop集群的Web界面工具。
Chukwa
分布式数据收集和分析工具集，用于显示、监控、分析大型分布式系统的运行数据。
HCatalog
提供共享数据模板和数据类型的机制，并对数据表进行抽象便于进行数据整合。
以上是对Hadoop家族的主要成员的介绍，了解这些成员的作用后，对Hadoop整体能干什么就有了初步的认识,那接下来就尝试着搭建基于hadoop的大数据架构吧。
二、基于hadoop的大数据框架
数据集成层
集成各类数据源，包括私有应用数据、数据库数据、系统产生的日志数据等，这些数据具有来源广、数据量大、类型多等特点；
数据存储与计算层
提供分布式、可扩展的海量数据存储、管理与处理能力；
数据分析层
为分析人员提供高级分析与挖掘工具，提升效率；
平台管理层
确保整个数据平台平稳、安全运行，包括配置管理、运行监控、日志管理、故障管理、性能优化、安全管理等功能。
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
Hadoop、Spark和Storm三者技术相对比，有什么关系？
http://www.duozhishidai.com/article-15089-1.html
大数据的特点是什么，大数据与Hadoop有什么关系？
http://www.duozhishidai.com/article-13276-1.html
hadoop是什么，主要有哪些不同版本？
http://www.duozhishidai.com/article-12346-1.html
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站
