文件名称：sope:Apache Spark ETL实用程序
文件大小：98KB
文件格式：ZIP
更新时间：2024-05-30 17:53:22
yaml framework scala spark etl
索普 IPA马拉地语：/sə/ / o / /pə/ / e /（形容词：无需付出很大的努力就可以实现） Sope是一组实用程序和库函数，可帮助使用Apache Spark进行ETL开发。 在较高的层次上，该库在Spark SQL API的基础上提供了抽象，这使开发基于SQL操作的应用程序变得更加容易。 该项目包含以下子模块： sope-spark ：该模块包含有用的Dataframe函数和一个Scala内部dsl库，该库有助于以简洁的方式编写Spark SQL转换。 sope-etl ：此模块提供基于YAML的外部转换器，具有易于使用的ETL构造，其行为类似于配置/脚本驱动的接口。 例子： 请检查： : 建立项目： 该项目完全支持Spark版本2.x及更高版本。 请参考单独的分支以获取1.x支持，这在功能上受到限制。 使用mvn clean package生成项目。 sope
【文件预览】：
sope-master
----.travis.yml(53B)
----sope-etl()
--------bin()
--------pom.xml(4KB)
--------assembly()
--------templates()
--------src()
--------yaml-transformer-constructs.md(14KB)
--------README.md(11KB)
----pom.xml(10KB)
----LICENSE(11KB)
----sope-spark()
--------pom.xml(2KB)
--------src()
--------README.md(4KB)
----.gitignore(84B)
----README.md(2KB)