java连接sqoop源码-sqoop-example:sqoop-示例

时间:2024-07-05 10:48:07
【文件属性】:

文件名称:java连接sqoop源码-sqoop-example:sqoop-示例

文件大小:1.52MB

文件格式:ZIP

更新时间:2024-07-05 10:48:07

系统开源

java连接sqoop源码Sqoop-服务 Sqoop scala 驱动程序,带有 mysql 元存储、光滑的数据库和喷雾。 Sqoop 是一个很好的工具,用于在 HDFS 中导入和导出数据。 大多数 sqoop 作业都是通过脚本编写的,这对于临时作业来说是可以的,但是当您想要自动化并将其置于持续集成路径中时,有时您需要一种编译语言以及这给您带来的好处。 我选择 scala 将我自己的代码封装在 Java Sqoop 代码库中。 我只是扩展了 JobStorage 类并使用 slick db 与 MySql 数据库交互来存储 Sqoop 通常会存储在嵌入式 HSQLDb 中的作业。 通过使用共享元存储,我们可以拥有 Sqoop2,但通过使用 Sqoop 1,我们可以获得以下好处: Sqoop 1 经过实战测试,功能丰富,社区活跃。 我们可以分享工作 我们有一个中心点供组织获取和概览 sqoop 导入/导出。 合规和法律就是这样。 每次注册源数据库服务器或数据库时,我们都可以设置作业并设置智能默认值。 例如,选择正确的连接器(如果可用)、设置压缩、使用 avro 或镶木地板而不是文本。


【文件预览】:
sqoop-example-master
----project()
--------build.properties(0B)
--------plugins.sbt(84B)
----.gitattributes(411B)
----deploy.sh(1KB)
----src()
--------test()
--------main()
----lib()
--------kite-data-hive-1.0.1-SNAPSHOT.jar(1.72MB)
----build.sbt(3KB)
----.name(13B)
----README.md(8KB)
----post_deploy.sh(209B)
----.gitignore(75B)

网友评论