Spark学习之Spark SQL（8）

时间：2022-01-26 02:21:02

Spark学习之Spark SQL（8）

1. Spark用来操作结构化和半结构化数据的接口——Spark SQL、

2. Spark SQL的三大功能

2.1 Spark SQL可以从各种结构化数据（例如JSON、Hive、Parquet等）中读取数据。

2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询，也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器（JDBC/ODBC）连接Spark SQL进行查询。

2.3 当在Spark程序内使用Spark SQL时，Spark SQL支持SQ与常规的Python/Java/Scala代码高度整合，包括连接RDD与SQL表、公开的自定义SQL函数接口等。

3. SchemaRDD（1.3版本后为DataFrame）是存放Row对象的RDD，每个Row对象代表一行记录。SchemaRDD还包含记录的结果信息（即数据字段）。

4. 连接Spark SQL

带有Hive支持的Spark SQL的Maven索引
    groupID =org.apache.spark

    artifactID = spark-hive_2.10

    version = 1.2.0

5. 在应用使用Spark

5.1 初始化Spark
        //Sacla中SQL的import的声明

        import org.apache.spark.sql.hive.HiveContext

        import org.apache.spark.sql.SQLContext

        //Scala中SQL导入隐式转换支持

        val hiveCtx = ...//创建HiveContext

        import hiveCtx._//导入隐式转换支持

        //创建SQL上下文环境

        val sc = new SparkContext(...)

        val hiveCtx = new HiveContext(sc)
5.2 基本的查询示例
        val input = hiveCtx.jsonFile(inputFile)

        //注册输入的SchemaRDD

        input.registerTempTable("tweets")

        //依据tetwwtCount（转发计算）宣传推文

        val topTweeter = hiveCtx.sql("SELECT text,retweetCount FROM tweets ORDER　BY retweetCount LIMIT 10")

6. 用户自定义函数(UDF)

Scala版本的字符串长度UDF
    registerFunction("strLenScala",(_:string).length)

    val tweetLength = hiveCtx.sql("SELECT strLenScala('tweet') FROM tweets LIMIT 10")

相关文章