【文件属性】：
文件名称：FantasySportsLeagues:实施跟踪梦幻体育联赛的网站
文件大小：2.56MB
文件格式：ZIP
更新时间：2021-06-25 06:34:21
Scala
梦幻体育联盟
关于
Fantasy Sports Leagues 是我的数据工程项目，作为 2015A奖学金计划的一部分。
介绍
我决定在我的项目中结合我对数据和运动的热爱。
虽然仍然专注于数据工程方面，但我认为了解尝试开发一个管道的含义会很有趣，该管道可以更新实时事件并为大约 500 万人的用户群提供服务。
我的技术栈包括：Kafka、HDFS、Spark、Spark Streaming 和 Cassandra，如下所述。
网站
该项目目前托管在
设置
管道位于 AWS EC2 集群上。
三个实例专用于 Cloudera 的 Hadoop Distribution（CDH5、Cloudera Manager 5.1.4）。
三个实例专用于 Cassandra 的 Datastax AMI 分发。
一个微实例专用于托管 Flask Web 服务器。
管道
我试图遵循 Lambda
【文件预览】：
FantasySportsLeagues-master
----RealTime()
--------PlayStreaming()
----.gitignore(21B)
----README.md(3KB)
----img()
--------datatransformation.png(1.27MB)
--------pipeline.png(1.03MB)
----DataIngestion()
--------kafka_producer.py(952B)
--------kafka_hdfs_consumer.py(3KB)
--------data()
----LeagueGenerator()
--------README.md(810B)
--------ReverseNames(219B)
--------LeagueGenerator.rb(2KB)
--------PlayersLists()
----BatchLayer()
--------SparkQueries()