文件名称：spark-lineage:Spark SQL侦听器记录沿袭信息
文件大小：80KB
文件格式：ZIP
更新时间：2024-06-15 00:42:31
Scala
火花世系 Spark SQL侦听器将沿袭数据报告到各种输出，例如Amazon Kinesis。 受大力启发，但旨在提供更通用的功能，以帮助那些不能或不会使用Atlas的人。 对于产生输出（例如，将数据写入文件系统）的Spark SQL查询，侦听器将产生一条包含以下内容的消息： 输出详细信息，例如类型，输出位置和格式 对于每个（*）输出字段，一个有助于它的输入列表。 每个输入包含： 类型，例如hive 会影响输出字段的输入字段列表以及它们如何影响输出字段（例如，通过联接，过滤器，聚合，投影等） 元数据，例如spark应用程序名称 安装 建立罐子： $ ./gradlew shadowJar 将输出从build/lib/jars复制到您的集群。 请注意，如果您打算使用关联的报告器，则您将需要在火花类路径中具有适当的AWS开发工具包jar。 配置 通过文件lineage.pro
【文件预览】：
spark-lineage-master
----.gitignore(139B)
----gradle()
--------wrapper()
----README.md(12KB)
----build.gradle(1KB)
----gradlew.bat(3KB)
----gradlew(6KB)
----LICENSE(11KB)
----src()
--------test()
--------main()
----gradle.properties(40B)
----.travis.yml(53B)
----settings.gradle(362B)