文件名称：FantasySportsLeagues:实施跟踪梦幻体育联赛的网站
文件大小：2.56MB
文件格式：ZIP
更新时间：2024-07-15 00:21:01
Scala
梦幻体育联盟 关于 Fantasy Sports Leagues 是我的数据工程项目，作为 2015A奖学金计划的一部分。 介绍 我决定在我的项目中结合我对数据和运动的热爱。 虽然仍然专注于数据工程方面，但我认为了解尝试开发一个管道的含义会很有趣，该管道可以更新实时事件并为大约 500 万人的用户群提供服务。 我的技术栈包括：Kafka、HDFS、Spark、Spark Streaming 和 Cassandra，如下所述。 网站 该项目目前托管在 设置 管道位于 AWS EC2 集群上。 三个实例专用于 Cloudera 的 Hadoop Distribution（CDH5、Cloudera Manager 5.1.4）。 三个实例专用于 Cassandra 的 Datastax AMI 分发。 一个微实例专用于托管 Flask Web 服务器。 管道 我试图遵循 Lambda
【文件预览】：
FantasySportsLeagues-master
----RealTime()
--------PlayStreaming()
----.gitignore(21B)
----README.md(3KB)
----img()
--------datatransformation.png(1.27MB)
--------pipeline.png(1.03MB)
----DataIngestion()
--------kafka_producer.py(952B)
--------kafka_hdfs_consumer.py(3KB)
--------data()
----LeagueGenerator()
--------README.md(810B)
--------ReverseNames(219B)
--------LeagueGenerator.rb(2KB)
--------PlayersLists()
----BatchLayer()
--------SparkQueries()