文件名称：spark-json-schema:适用于Apache Spark的JSON模式解析器
文件大小：17KB
文件格式：ZIP
更新时间：2024-06-11 13:21:44
data-infrastructure Scala
spark-json-schema 该库的目标是在将json数据加载到Apache Spark中时支持输入数据的完整性。 为此，该库： 读取现有的json模式文件 解析json模式并构建一个Spark DataFrame模式 将json数据加载到Spark中时，可以使用生成的架构。 这验证输入数据符合给定的架构，并能够过滤出损坏的输入数据。 快速开始 将库包含在以下坐标下： libraryDependencies + = " org.zalando " %% " spark-json-schema " % " 0.6.1 " 通过提供输入文件的路径来解析给定的json模式文件。 该文件应相对于resources文件夹： val schema = SchemaConverter .convert( " schemaFile.json " ) 或者，您可以将convertCont
【文件预览】：
spark-json-schema-master
----MAINTAINERS(96B)
----.travis.yml(188B)
----.zappr.yaml(146B)
----SECURITY.md(90B)
----LICENSE(1KB)
----CONTRIBUTING.md(1KB)
----src()
--------test()
--------main()
----build.sbt(2KB)
----.gitignore(62B)
----project()
--------plugins.sbt(431B)
--------build.properties(21B)
----README.md(4KB)