文件名称：spark-redshift:适用于Apache Spark的Redshift数据源
文件大小：277KB
文件格式：ZIP
更新时间：2024-05-27 04:32:51
Scala
适用于Apache Spark的Redshift数据源 笔记 为了确保为我们的客户提供最佳体验，我们决定直接在Databricks Runtime中内联此连接器。 Databricks Runtime（3.0+）的最新版本包括适用于Spark的RedShift连接器的高级版本，具有性能改进（完全查询下推）和安全性改进（自动加密）的功能。 有关更多信息，请参阅。 因此，我们将不再与Databricks Runtime分开发布版本。 原始自述文件 一个用于将数据从Amazon Redshift加载到Spark SQL DataFrames并将其写回到Redshift表的库。 Amazon S3用于有效地将数据移入和移出Redshift，而JDBC用于自动触发Redshift上的适当COPY和UNLOAD命令。 该库比交互式查询更适合ETL，因为对于每次查询执行，都可以将大量数据提取到S3。
【文件预览】：
spark-redshift-master
----project()
--------build.properties(804B)
--------SparkRedshiftBuild.scala(10KB)
--------plugins.sbt(652B)
----codecov.yml(125B)
----src()
--------it()
--------test()
--------main()
----.jvmopts(123B)
----.travis.yml(3KB)
----LICENSE(10KB)
----build()
--------sbt(5KB)
--------sbt-launch-lib.bash(5KB)
----version.sbt(40B)
----README.md(38KB)
----tutorial()
--------SparkRedshiftTutorial.scala(6KB)
--------images()
--------README.md(23KB)
----scalastyle-config.xml(10KB)
----.gitignore(68B)
----dev()
--------merge_pr.py(18KB)
--------run-tests-travis.sh(717B)