文件名称:shipments-etl:ETL流程从CSV获取数据并将其加载到PostgreSQL数据库中
文件大小:456KB
文件格式:ZIP
更新时间:2024-03-28 04:42:04
Python
发货ETL ETL过程从CSV数据集中获取数据并加载到PostgreSQL数据库中 要求 PostgreSQL 13.2或更高版本。 使用的配置: 用户:postgres(具有创建,删除和修改模式,数据库和表的权限;具有修改数据的权限(INSERT,READ,DELETE)。 postgres的密码:sa Postgres的地址-默认为localhost:5432 Python 3.9或更高版本。 如果环境也是Windows,请确保系统变量Path包含Python位置。 适用于python的psycopg2插件。 安装在提示符下执行命令:pip install psycopg2 PowerBI桌面 数据集CSV文件 由于使用了PowerBI软件,因此该测试是在Windows环境中构建的。 上下文和流程决策 通过分析数据集,我看到了数据的三个维度:数据来自订单本身,托运人的数据和
【文件预览】:
shipments-etl-main
----tests()
--------__init__.py(0B)
--------parser_tests.py(4KB)
----app()
--------parser.py(5KB)
--------database.py(2KB)
--------__init__.py(0B)
--------etl_home.py(2KB)
----tablespace_creation.sql(1KB)
----dash()
--------dashboard.pbix(391KB)
----.gitignore(41B)
----README.md(5KB)
----relational_diagram.png(74KB)