【文件属性】:
文件名称:spark-demos:Spark(多种版本)+ StreamingHiveSQLUDF演示
文件大小:47KB
文件格式:ZIP
更新时间:2021-05-18 18:16:18
Scala
一、项目说明
本项目为平时使用Spark/HBase/Kafka等大数据组件的Demo示例,后续会逐渐丰富;
支持Kerberos/非Kerberos环境下操作HBase/Kafka/HDFS/Spark;
支持Spark Streaming实时读取Kafka;
支持Kafka/HBase相关可配置;
支持Yarn/local环境下操作;
支持Java/Scala两种语言编写Spark相关代码;
只支持Spark 2.1.1;
TODO:
补充Spark SQL/StructStreaming相关代码;
补充Kafka/HBase相关操作;
支持Spark多版本;
1.1 项目构建说明
src/main/java: java语言编写程序示例;
src/main/scala: scala语言编写程序示例;
src/main/resources: 项目使用resources示例;
1.2 具体
【文件预览】:
spark-demos-master
----.gitignore(178B)
----README.md(10KB)
----pom.xml(25KB)
----build.sh(43B)
----src()
--------main()
--------assembly()
----.idea()
--------vcs.xml(180B)
--------compiler.xml(643B)