文件名称:创建DataFrame-spark介绍 spark入门
文件大小:2.37MB
文件格式:PPT
更新时间:2024-05-16 04:02:59
spark学习 spark介绍 大数据ppt spark ppt
创建DataFrame 使用SQLContext,可以从RDD、Hive表或者其他数据源,来创建一个DataFrame。以下是一个使用JSON文件创建DataFrame的例子: Java版本: JavaSparkContext sc = ...; SQLContext sqlContext = new SQLContext(sc); DataFrame df = sqlContext.read().json("hdfs://spark1:9000/students.json"); df.show(); Scala版本: val sc: SparkContext = ... val sqlContext = new SQLContext(sc) val df = sqlContext.read.json("hdfs://spark1:9000/students.json") df.show()