文件名称：TaxiOptimizer:我的数据工程项目@ Insight Data Science
文件大小：909KB
文件格式：ZIP
更新时间：2024-05-19 10:52:01
Python
出租车优化器 寻找票价，避免竞争 这是我在Insight数据工程计划期间（纽约，2018年夏季）完成的一个项目。 访问观看实际操作（或观看）。 该项目旨在通过尝试将纽约市黄色出租车司机的日常工作分散到整个城市，从而使他们覆盖更多的社区并且不争夺乘客，从而优化他们的日常工作。 大约14,000辆出租车中的每一辆出租车都将其实时位置流式传输到TaxiOptimizer ，作为回报，建议在周围最多5个位置找到票价较高的位置。 如果附近有几个驾驶员，该服务将为他们提供不同的结果，以减少他们之间的竞争。 附近的司机，结果被定制或者基于每个出租车（分支的唯一ID master这个项目的），或者他们在一个特定街区（支到达的顺序上的stateful ）。 根据历史数据，我将每天任意给定的10分钟间隔内每个社区内的热门接送地点定义为约5m x 5m的城市街道，其中从这些地点出发的打车次数最多。 管道
【文件预览】：
TaxiOptimizer-master
----config()
--------schema_for_raw_data.config(236B)
--------postgresql.config(577B)
--------kafka.config(275B)
--------schema_for_streaming.config(236B)
--------s3bucket.config(183B)
--------stream.config(88B)
----spark-run.sh(1KB)
----docs()
--------pegasus_setup.odt(381KB)
--------pipeline.jpg(181KB)
--------map.jpg(381KB)
--------postgres_install.txt(1KB)
--------airflow_install.txt(271B)
----streaming()
--------streamers.py(10KB)
--------main_stream.py(553B)
----flask()
--------app()
--------run.py(491B)
--------run.sh(150B)
----test()
--------unit_tests.py(5KB)
----batch_processing()
--------main_batch.py(505B)
--------batch_transformers.py(5KB)
----LICENSE(1KB)
----generate_raw_data()
--------generator_run.sh(751B)
--------generate.py(2KB)
----airflow()
--------batch_scheduler.py(1KB)
--------schedule.sh(170B)
----requirements.txt(126B)
----kafka()
--------producers.py(2KB)
--------main_produce.py(478B)
----.gitignore(171B)
----cluster_setup()
--------spark-batch()
--------dummy.yml.template(199B)
--------create-clusters.sh(334B)
--------flask()
--------copy_allnodesdns_to_masters.sh(610B)
--------copy_idrsapub_to_workers.sh(504B)
--------kafka()
--------get_nodes_dns.sh(65B)
--------install_on_masters.sh(653B)
--------spark-stream()
----README.md(5KB)
----kafka-run.sh(2KB)
----helpers()
--------helpers.py(5KB)
--------postgres.py(2KB)