文件名称：基于大数据平台数据分析技术选型调研.pdf
文件大小：167KB
文件格式：PDF
更新时间：2022-12-24 11:33:41
文档资料
基于⼤数据平台数据分析技术选型调研 技术选型调研 ⼤⽅向任务 分布式平台 选出⼏个可⾏的⽅案 分析优缺点 任务细分： 数据源存储的问题 ⽀持分布式的深度学习组件 业内端到端的解决⽅案有哪些——可借鉴的架构⽅案 ⽅案路线 1. hdfs -> mapreduce -> hive(on spark/Tez) -> 提取⼩批量数据 -> 预建模预分析：sklearn/Tensorflow 2. hdfs -> yarn -> spark -> spark mllib/TensorFlowonSpark/BigDL 数据存储 分布式⽂件系统–HDFS 分布式关系型数据库–Hive 优点： 1. 将sql转化为MapReduce，适⽤于离线批处理环境 2. Hive的执⾏延迟⽐较⾼，因此Hive常⽤于数据分析，对实时性要求不⾼的场合 3. Hive 优势在于处理⼤数据 4. Hive ⽀持⽤户⾃定义函数，⽤户可以根据⾃⼰的需求来实现⾃⼰的函数 缺点： 1. 基于MapReduce，速度慢 2. Hive调优⽐较困难，粒度较粗 3. 迭代式算法⽆法表达 4. 由于 MapReduce 数据处理流程的限制，效率更⾼的算法却⽆法实现 分布式⾮关系型数据库–HBase 优点： 1. 容量⼤：Hbase单表可以有百亿⾏、百万列，数据矩阵横向和纵向两个维度所⽀持的数据量级都⾮常具有弹性 2. 列存储：其数据在表中是按照某列存储的，这样在查询只需要少数⼏个字段的时候，能⼤⼤减少读取的数量，可以动态增加列 3. ⾼可⽤，依赖于Zookeeper 4. 写⼊速度快，适⽤于读少写多的场景 5. 稀疏性，为空的列并不占⽤存储空间，表可以设计的⾮常稀疏。不需要null填充 缺点： 1. 不能⽀持条件查询，只⽀持按照row key来查询 2. 只能在主键上索引和排序 3. 对join以及多表合并数据的查询性能不好 4. 更新过程中有⼤量的写⼊和删除操作，需要频繁合并和分裂，降低存储效率 优化：Hive on Tez / Spark 使⽤Tez和Spark替代MapReduce，达到提⾼Hive执⾏效率的⽬的 计算引擎 Spark ⽬前Spark⽀持三种分布式部署⽅式，分别是 standalone spark on MESOS spark on YARN（较流⾏） 优点：（与MapReduce相⽐） 1. 能处理循环迭代式数据流处理 2. 适⽤于多并⾏的数据可复⽤场景（如：机器学习、图挖掘算法、交互式数据挖掘算法） 3. RDD提供了⽐MapReduce 丰富的模型，可以快速在内存中对数据集进⾏多次迭代，来⽀持复杂的数据挖掘算法和图形计算算法 4. Spark 多个作业之间数据通信是基于内存，效率更⾼ 缺点： 1. Spark 是基于内存的，由于内存的限制，可能会由于内存资源不够导致 Job 执⾏失败 算法层 SparkMLlib ⽀持的语⾔：python，scala，java ⽀持的⽂件系统：HDFS ⽀持的数据库：Hive，HBase ⽀持的算法：分类，聚类，回归，降维，协同过滤 优点： 1. Spark善于处理机器学习中迭代式运算，基于内存，因此迭代结果不会落在磁盘中 2. 可以使⽤Spark其他的衍⽣⼯具 缺点： 1. 缺少深度学习算法框架 Mahout ⽀持的语⾔：java，scala ⽀持的⽂件系统：HDFS ⽀持的数据库：Hive，HBase ⽀持的算法：分类，聚类，回归，降维，协同过滤 优点： 1. 基于hadoop实现 2. 利⽤MapReduce计算引擎，提升了算法可处理的数据量和处理性能。 缺点： 1. 由于实现算法需要MR化，所以实现的算法相对较少 2. 学习资料较少，官⽹提供的相关⽂档并没有很详细的关于每个算法的使⽤教程。 3. 不⽀持深度学习 TensorFlowOnSpark 使Spark能够利⽤TensorFlow拥有深度学习和GPU加速计算的能⼒，⽬前被⽤于雅虎私有云的Hadoop集群中 ⽀持的语⾔：python ⽀持的⽂件系统：HDFS ⽀持的计算引擎：Spark [外链图⽚转存失败,源站可能有防盗链机制,建议将图⽚保存下来直接上传(img-LLlTJW0P-1615273602194) (C:\Users\Lenovo\AppData\Roaming\Typora\typora-user-images\image-20210124224553335.png)] 优点： 1. 可⽤于⽣产环境 2. ⽀持所有TensorFlow功能 3. 轻松移植现有TensorFlow程序到Spark集群上 4. 轻松整合现有的数据处理流程和机器学习算法 5. 更新频率⾼，且⽀持最新版本的TensorFlow和Spark 6. 代码量少便于⼆次