文件名称：Insight-MapMyCab:用于分析出租车地理位置数据的 API 和用于实时查找可用出租车的模拟应用程序
文件大小：22.62MB
文件格式：ZIP
更新时间：2024-07-12 23:06:27
Python
#映射我的出租车 ＃目录 #Introduction 这是 Insight Data Science 的一个数据工程项目。 该项目旨在实现两个目标： 为数据科学家和出租车调度员提供 API，用于分析出租车行为的长期趋势，以及平均上车、下车、占用、行驶里程等指标。 启用用于实时监控出租车位置的框架，以便用户可以了解整个城市的无人出租车，并放大特定社区以发现并捕捉离他们最近的可用出租车。 #Data Set Historical：该项目基于旧金山 500 辆黄色出租车的历史地理位置数据，在一个月的时间范围内收集（ 1100 万行）。 数据以时间序列形式提供，以 1 分钟（大约）的时间间隔更新单个出租车占用率和位置。 下表提供了原始数据集的快照（500 个文本文件，每个文件代表一辆出租车）： cabID、纬度、经度、占用率、时间戳 实时：回放历史数据集以模拟实时行为。 AWS 集群
【文件预览】：
Insight-MapMyCab-master
----Storm()
--------cab_topology()
----images()
--------batchschema.png(70KB)
--------pipeline.png(179KB)
--------raw_data.png(244KB)
--------realtime.png(1.4MB)
--------hiveworkflow.png(109KB)
--------yellowcab.jpg(62KB)
--------realtimeschema.png(42KB)
--------triptable.png(451KB)
----flask()
--------app()
--------run.py(85B)
----hive()
--------create_trips.q(1KB)
--------create_aggregates.q(1KB)
--------hbase_dow.q(523B)
--------sortByTime.q(663B)
--------store_in_hbase.q(391B)
--------create_agg_trips.q(1KB)
--------create_picks_drops.q(652B)
----hbase_schema()
--------genaggtables.py(1KB)
----README.md(9KB)
----MrJob()
--------mr_hourly_job.py(2KB)
----kafka()
--------producer.py(697B)
--------kafka_consumer.py(3KB)