【文件属性】：
文件名称：DataEngineeringWithPython：与数据工程相关的各种Python项目
文件大小：505KB
文件格式：ZIP
更新时间：2021-02-03 05:39:56
python sql database cassandra nosql
使用Python进行数据工程
此仓库包含使用Python语言以及不同SQL＆NoSQL数据库（例如PostgreSQL，Apache Cassandra，SQlite3）的不同项目。
该项目的主要重点是根据项目的性质和用例从不同来源获取数据并将其加载到某些数据库中。
我们将使用一些API连接到数据，并使用Python库和函数对数据进行转换。
使用诸如S3，Redshift，IAM，Glue，EMR之类的AWS服务。
将模式从3NF转换为星形模式，以简化查询并提高优化程度。
【文件预览】：
DataEngineeringWithPython-master
----Data Modeling With Postgres()
--------create_tables.py(2KB)
--------etl.py(3KB)
--------sql_queries.py(3KB)
--------README.md(2KB)
----Capstone()
--------create_tables.py(2KB)
--------us-cities-demographics.csv(245KB)
--------etl.py(2KB)
--------Capstone Project Template.ipynb(49KB)
--------sql_queries.py(1KB)
--------README.md(623B)
----ETLusingSQLite3()
--------Analyst Report.png(115KB)
--------Analyst Report.sql(539B)
--------Read Me.txt(547B)
--------generate.py(1KB)
--------Test_log_generator.py(182B)
--------Solution Explanation.txt(1KB)
--------Data Pipeline.py(1KB)
--------Requirements.txt(92B)
--------data_generator.py(9KB)
--------Analyst Report Detailed.sql(549B)
--------reset.py(349B)
--------README.md(1KB)
--------API.py(1KB)
--------students.db(312KB)
----Data Pipelines with Airflow()
--------Readme.MD(899B)
--------Dags()
--------Plugins()
----Data Modeling with Redshift()
--------create_tables.py(777B)
--------dwh.cfg(222B)
--------etl.py(844B)
--------sql_queries.py(5KB)
--------README.md(2KB)
----Data Modeling with Cassandra()
--------event_datafile_new.csv(834KB)
--------README.md(882B)
--------Modeling in Cassandra.ipynb(19KB)
----S3 to Redshift()
--------create_tables.py(781B)
--------dwh.cfg(71B)
--------etl.py(2KB)
--------Readme.md(2KB)
--------sql_queries.py(3KB)
--------requirement.txt(74B)
----README.md(622B)
----Data Lakes with S3 and Spark()
--------dl.cfg(51B)
--------etl.py(5KB)
--------README.md(1KB)