文件名称：rideOn:洞察数据工程项目
文件大小：1.52MB
文件格式：ZIP
更新时间：2024-08-08 16:06:45
Python
乘坐 从 2015 年 6 月到 2015 年 7 月，作为工程奖学金计划的一部分， 是我的大数据项目 介绍 RideOn是一个开源数据管道，用于模拟实时拼车。 它包括一个地图，让用户搜索附近的汽车和监控管道的可视化。 它使用以下技术： Apache Zookeeper 3.4.6 阿帕奇卡夫卡 0.8.2.1 阿帕奇风暴 0.9.2 弹性搜索 1.6.0 具有以下框架的 Flask： 、jQuery、 0.9.2（带有 Python 的 Kafka） [pyleus]( 0.2.4) (Storm with Python) 1.3（带有 Python 的 Elasticsearch） 0.1.4 0.7.2 0.4.0 1.2.4 现场演示 当前（2015 年 6 月）正在运行。 进一步阅读有关该项目的更多详细信息 数据 为了模拟汽车运动，我使用了C
【文件预览】：
rideOn-master
----simulations()
--------simulateUserRequest.sh(77B)
--------simulateExits.sh(58B)
--------simulateGeoChange.sh(74B)
--------stop.sh(92B)
--------run.sh(242B)
----kafka()
--------locationProducer.py(2KB)
--------bulkLocationProducer.py(2KB)
--------bulkRequestProducer.py(2KB)
--------__init__.py(20B)
--------requestProducer.py(2KB)
----images()
--------distributed_system.png(94KB)
--------taxi_data.png(17KB)
--------user_data.png(60KB)
--------kafka_monitoring.png(60KB)
--------monitoring1.png(85KB)
--------pipeline.png(120KB)
--------monitoring2.png(121KB)
--------storm.png(90KB)
----scripts()
--------generateUserData.py(724B)
--------extractLocationData.pyc(3KB)
--------locationToJson.py(737B)
--------extractLocationData.py(5KB)
----storm()
--------geo_update_topology.yaml(2KB)
--------build.sh(52B)
--------geo_update_topology()
--------__init__.py(20B)
--------submit.sh(53B)
--------pyleus.conf(323B)
--------request_processing_topology.yaml(2KB)
--------request_processing_topology()
----__init__.py(20B)
----notes()
--------queries.txt(550B)
--------configurations()
--------GOTCHAS.txt(436B)
--------supervisordConfig.txt(2KB)
----config()
--------config.json(384B)
----README.md(9KB)
----data()
--------userLocations2.csv(19KB)
--------initialData.csv(16KB)
--------2locations.csv(888KB)
--------3locations.csv(888KB)
--------4locations.csv(888KB)
--------initialBulkData.csv(80KB)
--------restaurants.xlsx.csv(81KB)
--------cabId.csv(5KB)
--------userLocations.csv(19KB)
--------1locations.csv(857KB)
----elasticSearch()
--------toggleOccupiedTaxi.py(3KB)
--------create_index.py(2KB)
--------__init__.py(20B)
----.gitignore(48B)