文件名称：音乐趋势-ETL管道：Udacity Capstone项目
文件大小：121.73MB
文件格式：ZIP
更新时间：2024-03-11 22:21:42
Python
音乐趋势-ETL--管道 数据工程NanoDegree Capstone项目 项目总结 音乐随着时间变化了很多，每种音乐都有其独特的风格和节奏。 随着越来越多的音乐发行，人们需要使用可靠的方法快速访问有关最新趋势的信息。 该项目旨在组织可用信息，以更好地分析音乐发展趋势。 使用Spotify，Billboard等各种服务的API，收集Genius数据。 利用可用的数据源，构建了能够处理大量数据的端到端数据管道。数据湖将由按某些列划分的逻辑表组成，以优化查询延迟，并可用于查询以改善决策制作。 该项目是Udacity数据工程纳米学位的顶点项目。该顶点项目的目的是结合在数据工程纳米学位期间获得的技能和专业知识来完成数据工程任务。 技术栈 AWS S3-对于字符串数据湖，使用Amazon S3，这是一种对象存储服务，可提供行业领先的可扩展性，数据可用性，安全性和性能。 S3是存储分区和分组在文
【文件预览】：
Music-Trends-ETL-pipeline-main
----emr_default.json(999B)
----requirements.txt(183B)
----dataset()
--------playlist_data.rar(64.45MB)
--------lyrics_data.rar(87KB)
--------unzip_files.py(276B)
--------genre_data.rar(56.74MB)
--------artists_data.rar(120KB)
--------charts_data.rar(69KB)
----src()
--------script()
--------airflow()
----assets()
--------ERD.jpg(125KB)
--------load_raw.JPG(44KB)
--------connections.png(77KB)
--------emr_etl.JPG(50KB)
----dl.cfg(164B)
----LICENSE(1KB)
----README.md(10KB)
----.gitattributes(66B)