【文件属性】：
文件名称：spring-boot-spark-integration-demo:关于如何将Spring Data JPA，Apache Spark和GraphX与Java和Scala混合代码集成的演示
文件大小：5.86MB
文件格式：ZIP
更新时间：2021-05-19 06:01:51
spark spring-boot spring-jpa graphx Java
spring-boot-spark-integration-demo
有关如何将Spring，Apache Spark和GraphX与Java和Scala混合代码集成的演示
特征
当前项目包含以下功能：
使用spring-data-jpa从mariadb或mysql加载数据
弹簧靴支持
大数据分析的火花
hadoop集成
用于发布Spark作业进度的Redis
来自图挖掘的graphx（例如页面排名）
将Java和Scala代码都集成在一个代码库中
ETL流程
该应用程序遵循以下ETL流程：
步骤1：从mysql或mariadb数据库中提取数据
步骤2：使用Spark转换数据
步骤3：然后将转换后的数据存储到hadoop分布式文件系统（HDFS）中
步骤4：然后通过将HDFS数据加载到图形结构中并运行图形挖掘来运行spark + graphx作业
步骤5：完成后，应用程序会自动从