spark-dynamodb:适用于AWS DynamoDB的Apache Spark自定义数据源的即插即用实现

时间:2024-05-27 00:09:51
【文件属性】:

文件名称:spark-dynamodb:适用于AWS DynamoDB的Apache Spark自定义数据源的即插即用实现

文件大小:82KB

文件格式:ZIP

更新时间:2024-05-27 00:09:51

Scala

Spark + DynamoDB 适用于AWS DynamoDB的Apache Spark自定义数据源的即插即用实现。 我们发布了有关该项目的小文章,请在此处查看: : 消息 2021-01-28:添加了选项inferSchema=false ,该选项在写入具有许多列的表时非常有用 2020-07-23:发布版本1.1.0,该版本支持Spark 3.0.0和Scala 2.12。 未来版本将不再与Scala 2.11和Spark 2.xx兼容 2020-04-28:发布版本1.0.4。 包括支持通过自定义STS终端节点承担AWS角色(贷方@jhulten)。 2020-04-09:我们发布了Spark + DynamoDB连接器的1.0.3版本。 添加了delete记录的选项(感谢@rhelmstetter)。 修复(感谢@juanyunism#46)。 2019-11-25:


【文件预览】:
spark-dynamodb-master
----project()
--------build.properties(20B)
--------plugins.sbt(215B)
----src()
--------test()
--------main()
----wercker.yml(1KB)
----LICENSE(11KB)
----build.sbt(5KB)
----README.md(7KB)
----.editorconfig(114B)
----.gitignore(100B)

网友评论