spark-demos:Spark(多种版本)+ StreamingHiveSQLUDF演示

时间:2024-06-07 12:02:58
【文件属性】:

文件名称:spark-demos:Spark(多种版本)+ StreamingHiveSQLUDF演示

文件大小:47KB

文件格式:ZIP

更新时间:2024-06-07 12:02:58

Scala

一、项目说明 本项目为平时使用Spark/HBase/Kafka等大数据组件的Demo示例,后续会逐渐丰富; 支持Kerberos/非Kerberos环境下操作HBase/Kafka/HDFS/Spark; 支持Spark Streaming实时读取Kafka; 支持Kafka/HBase相关可配置; 支持Yarn/local环境下操作; 支持Java/Scala两种语言编写Spark相关代码; 只支持Spark 2.1.1; TODO: 补充Spark SQL/StructStreaming相关代码; 补充Kafka/HBase相关操作; 支持Spark多版本; 1.1 项目构建说明 src/main/java: java语言编写程序示例; src/main/scala: scala语言编写程序示例; src/main/resources: 项目使用resources示例; 1.2 具体


【文件预览】:
spark-demos-master
----.gitignore(178B)
----README.md(10KB)
----pom.xml(25KB)
----build.sh(43B)
----src()
--------main()
--------assembly()
----.idea()
--------vcs.xml(180B)
--------compiler.xml(643B)

网友评论