【文件属性】:
文件名称:rideOn:洞察数据工程项目
文件大小:1.52MB
文件格式:ZIP
更新时间:2021-07-19 22:20:05
Python
乘坐
从 2015 年 6 月到 2015 年 7 月,作为工程奖学金计划的一部分, 是我的大数据项目
介绍
RideOn是一个开源数据管道,用于模拟实时拼车。 它包括一个地图,让用户搜索附近的汽车和监控管道的可视化。
它使用以下技术:
Apache Zookeeper 3.4.6
阿帕奇卡夫卡 0.8.2.1
阿帕奇风暴 0.9.2
弹性搜索 1.6.0
具有以下框架的 Flask: 、jQuery、
0.9.2(带有 Python 的 Kafka)
[pyleus]( 0.2.4) (Storm with Python)
1.3(带有 Python 的 Elasticsearch)
0.1.4
0.7.2
0.4.0
1.2.4
现场演示
当前(2015 年 6 月)正在运行。
进一步阅读有关该项目的更多详细信息
数据
为了模拟汽车运动,我使用了C
【文件预览】:
rideOn-master
----simulations()
--------simulateUserRequest.sh(77B)
--------simulateExits.sh(58B)
--------simulateGeoChange.sh(74B)
--------stop.sh(92B)
--------run.sh(242B)
----kafka()
--------locationProducer.py(2KB)
--------bulkLocationProducer.py(2KB)
--------bulkRequestProducer.py(2KB)
--------__init__.py(20B)
--------requestProducer.py(2KB)
----images()
--------distributed_system.png(94KB)
--------taxi_data.png(17KB)
--------user_data.png(60KB)
--------kafka_monitoring.png(60KB)
--------monitoring1.png(85KB)
--------pipeline.png(120KB)
--------monitoring2.png(121KB)
--------storm.png(90KB)
----scripts()
--------generateUserData.py(724B)
--------extractLocationData.pyc(3KB)
--------locationToJson.py(737B)
--------extractLocationData.py(5KB)
----storm()
--------geo_update_topology.yaml(2KB)
--------build.sh(52B)
--------geo_update_topology()
--------__init__.py(20B)
--------submit.sh(53B)
--------pyleus.conf(323B)
--------request_processing_topology.yaml(2KB)
--------request_processing_topology()
----__init__.py(20B)
----notes()
--------queries.txt(550B)
--------configurations()
--------GOTCHAS.txt(436B)
--------supervisordConfig.txt(2KB)
----config()
--------config.json(384B)
----README.md(9KB)
----data()
--------userLocations2.csv(19KB)
--------initialData.csv(16KB)
--------2locations.csv(888KB)
--------3locations.csv(888KB)
--------4locations.csv(888KB)
--------initialBulkData.csv(80KB)
--------restaurants.xlsx.csv(81KB)
--------cabId.csv(5KB)
--------userLocations.csv(19KB)
--------1locations.csv(857KB)
----elasticSearch()
--------toggleOccupiedTaxi.py(3KB)
--------create_index.py(2KB)
--------__init__.py(20B)
----.gitignore(48B)