spark-sftp:SFTP的Spark连接器

时间:2024-05-28 02:38:32
【文件属性】:

文件名称:spark-sftp:SFTP的Spark连接器

文件大小:29KB

文件格式:ZIP

更新时间:2024-05-28 02:38:32

Scala

Spark SFTP连接器库 通过从SFTP下载文件并将数据帧写入SFTP服务器来构造数据帧的库 要求 该库需要Spark2.x。 对于Spark 1.x支持,请检查分支。 连结中 您可以通过以下方式在程序中链接到该库: Maven依赖 com.springml spark-sftp_2.11 1.1.3 SBT依赖 libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3" 与Spark Shell一起使用 可以使用--packages命令行选项将此软件包添加到Spark。 例如,在启动spark shell时将其包括在内:


【文件预览】:
spark-sftp-master
----project()
--------build.properties(80B)
--------plugins.sbt(397B)
----src()
--------test()
--------main()
----LICENSE(10KB)
----build()
--------sbt(4KB)
--------sbt-launch-lib.bash(5KB)
----build.sbt(2KB)
----README.md(6KB)
----.gitignore(231B)

网友评论