文件名称：java8stream源码-SparkProject:Spark学习，关于SparkSQL和SparkStreaming的学习
文件大小：16.52MB
文件格式：ZIP
更新时间：2024-06-24 11:34:14
系统开源
java8 stream 源码 目录： Spark项目 本项目分为Java版本和Scala版本。在学习的时候使用Scala，因为企业生产中都是使用Java来编写的，因此之后用Java进行重构。 本项目中Spark SQL和Spark Streaming目录下都会有一个Actual-Project和一个learning-project，前者是本阶段学习整体完成后，进行的实战项目，后者是阶段性学习时，日常的测试。 项目中所有用到的数据都在data目录下，可自行下载，注意在执行程序时，记得修改路径 其实这些数据，都在spark目录下spark-2.4.4-bin-2.6.0-cdh5.15.1/examples/src/main/resources Spark及生态圈概述 一、产生的背景 MapReduce局限性：代码非常繁琐，只能支持map和reduce方法，执行效率低下。map处理完后的数据回写到磁盘上，reduce再从磁盘上把数据拉取过来，因此执行效率低下。map和reduce都会对应一个jvm，因此作业量大，则线程开销非常庞大。不适合迭代多次，交互感很低，不支持流式处理。 在hado