将数据保存到表中-spark介绍 spark入门

时间:2021-04-26 10:16:21
【文件属性】:
文件名称:将数据保存到表中-spark介绍 spark入门
文件大小:2.37MB
文件格式:PPT
更新时间:2021-04-26 10:16:21
spark学习 spark介绍 大数据ppt spark ppt 将数据保存到表中 Spark SQL还允许将数据保存到Hive表中。调用DataFrame的saveAsTable命令,即可将DataFrame中的数据保存到Hive表中。与registerTempTable不同,saveAsTable是会将DataFrame中的数据物化到Hive表中的,而且还会在Hive元数据库中创建表的元数据。 默认情况下,saveAsTable会创建一张Hive Managed Table,也就是说,数据的位置都是由元数据库中的信息控制的。当Managed Table被删除时,表中的数据也会一并被物理删除。 registerTempTable只是注册一个临时的表,只要Spark Application重启或者停止了,那么表就没了。而saveAsTable创建的是物化的表,无论Spark Application重启或者停止,表都会一直存在。 调用HiveContext.table()方法,还可以直接针对Hive中的表,创建一个DataFrame。 使用spark-sql必须导入依赖包 org.apache.spark spark-sql_2.10 1.6.1 org.apache.spark spark-hive_2.10 1.6.1

网友评论