文件名称：spark讲义总结1
文件大小：34KB
文件格式：TXT
更新时间：2021-09-04 01:26:49
spark
用scala编写 底层是基于actor模式的akka框架 代码结构简洁 基于DAG(有向无环图)的执行引擎 减少了计算时数据频繁读写到磁盘的开销 **DAG有向无环图 ： spark设计之初就考虑了 大量连续计算的需求 允许在对数据处理时 经由许多步算子 按序计算来实现处理 这些处理 是一个图的结构 但是要注意的是 图有向但是不能形成环 防止死循环 这样的有向无环的处理过程就称之为Spark的DAG有向无环图。