【文件属性】:
文件名称:sparkStreaming实战学习资料
文件大小:287KB
文件格式:DOCX
更新时间:2021-02-22 07:49:41
基础到实战
Spark核心概念简介:
Spark使用maven进行打包(减少jar包大小):
Spark中的(弹性分布式数据集)简称RDD:
Spark中的Transformation操作之Value数据类型的算子:
Spark中的Transformation操作之Key-Value数据类型的算子:
Spark中的Action操作:
Transformation->map算子:
Transformation->flatMap算子:
FaltMap算子与Map算子的区别
Action->reduce算子:
Action->collect算子:
Spark懒加载:
Spark本地运行只要数据不要多余的日志:
Spark本地运行没有Hadoop而报错:
SparkStreaming中的window窗口操作:
SparkStreaming中的reduceByWindow窗口操作:
SparkStreaming中的正常操作(每读2秒就计算一次):
Spark中的local[2]:
Spark中的处理流程图像: