大数据概述
大数据基本概念之大数据4V特征
- Volume
- Variety
- Velocity
- Value
大数据技术要解决的问题
从多样的数据类型(Variety),海量的数据规模(Volume),在快速的数据流转的情况下(Velocity)，发现数据价值(Value)
大数据涉及到的技术
- 数据采集
- 数据存储
- 数据处理/分析/挖掘
- 可视化
大数据在技术架构上带来的挑战
- 对现有数据库管理技术的挑战
- 经典数据库技术并没有考虑数据的多类别
- 实时性的技术挑战
- 网络架构、数据中心、运维的挑战
大数据带来的其他挑战
- 数据隐私
- 数据源复杂多样
挑战分析之如何对大数据进行存储和分析
系统瓶颈 Google大数据技术
存储容量 GFS
读写速度 BigTable
计算效率 MapReduce
但是Google只发表了技术论文，并没有开放源代码
一个模仿Google大数据技术的开源实现来了 hadoop
如何学好大数据
- 官网、官网、官网
- 英文、英文、英文
- 项目实战对知识点进行巩固和融会贯通
- 社区活动：Meetup、开源社区大会、线下沙龙等
- 多动手、多练习、贵在坚持