文件名称:2015 Spark技术峰会-Spark SQL结构化数据分析-连城
文件大小:2.55MB
文件格式:PDF
更新时间:2018-05-17 09:30:07
Spark SQL DataFrame API
Databrciks工程师,Spark Committer,Spark SQL主要开发者之一的连城详细解读了“Spark SQL结构化数据分析”。他介绍了Spark1.3版本中的很多新特性。重点介绍了DataFrame。其从SchemaRDD演变而来,提供了更加高层抽象的API,在形态上和R和Python很类似。Spark DataFrame vs.RDD,有些类似于动态语言和静态语言的区别,在很多场景下,DataFrame优势比较明显。1.3版中,Spark进一步完善了外部数据源API,并可智能进行优化。