【文件属性】：
文件名称：StockSwing:比较多家公司的股价波动
文件大小：2.58MB
文件格式：ZIP
更新时间：2021-05-04 02:21:36
HTML
#Stock Swing由Feni Chawla开发
StockSwing是一个Web应用程序，它使任何用户都可以快速，轻松地查询多家公司的股价波动。
Stock Swing被实施为Insight数据工程研究金计划的一个项目。 我使用来自Yahoo Finance的历史和实时股票数据为在纳斯达克，纽约证券交易所和美国证券交易所上市的6000多家公司提供服务。
## StockSwing的数据管道
使用了以下数据管道。
2数据管道的主要组成部分：
批量处理： 这是对历史数据集执行的一次操作。 对于批处理，我首先使用用shell和python编写的几个脚本来清理和规范化数据，然后将数据存储在HDFS中。 然后运行配置单元mapreduce作业以预先计算股价波动，并将结果存储到HBase中以进行快速查询。
实时处理： 为了提供实时价格波动的访问权限，对从云流式传输的实时数据进行了实时数
【文件预览】：
StockSwing-master
----images()
--------WebUI.png(137KB)
--------QueryResult.png(214KB)
--------datapipeline.png(220KB)
----webapp()
--------templates()
--------static()
--------flaskr.py(6KB)
----MapReduce()
--------README.txt(1KB)
--------createhbasetable.ddl(439B)
--------create_result_table_for_hbase.q(2KB)
--------moveresultstohbase.pig(385B)
----runwebapp.sh(178B)
----kafka()
--------kafka_consumer.py(4KB)
--------write_daily_data_to_hdfs.sh(135B)
--------kafka_producer.py(1KB)
--------crontab_file.txt(214B)
----README.md(3KB)