【文件属性】：
文件名称：sope:Apache Spark ETL实用程序
文件大小：98KB
文件格式：ZIP
更新时间：2021-05-11 00:06:42
yaml framework scala spark etl
索普
IPA马拉地语：/sə/ / o / /pə/ / e /（形容词：无需付出很大的努力就可以实现）
Sope是一组实用程序和库函数，可帮助使用Apache Spark进行ETL开发。 在较高的层次上，该库在Spark SQL API的基础上提供了抽象，这使开发基于SQL操作的应用程序变得更加容易。 该项目包含以下子模块：
sope-spark ：该模块包含有用的Dataframe函数和一个Scala内部dsl库，该库有助于以简洁的方式编写Spark SQL转换。
sope-etl ：此模块提供基于YAML的外部转换器，具有易于使用的ETL构造，其行为类似于配置/脚本驱动的接口。
例子：
请检查： :
建立项目：
该项目完全支持Spark版本2.x及更高版本。 请参考单独的分支以获取1.x支持，这在功能上受到限制。 使用mvn clean package生成项目。 sope
【文件预览】：
sope-master
----.travis.yml(53B)
----sope-etl()
--------bin()
--------pom.xml(4KB)
--------assembly()
--------templates()
--------src()
--------yaml-transformer-constructs.md(14KB)
--------README.md(11KB)
----pom.xml(10KB)
----LICENSE(11KB)
----sope-spark()
--------pom.xml(2KB)
--------src()
--------README.md(4KB)
----.gitignore(84B)
----README.md(2KB)