【文件属性】：
文件名称：数据处理：用于数据处理代码的存储库
文件大小：271KB
文件格式：ZIP
更新时间：2021-02-10 08:08:34
Shell
数据处理
回购数据处理代码。
环境设定
创建一个.exports文件，您.exports文件.exports为.bashrc或.zshrc文件。 这将允许在本地安全地管理所有与项目相关的秘密以及支持可复制性。
安装Docker-有关说明，请参见此处
安装
安装Python 3.8.5 。 建议使用pyenv ，有关建议的设置，请参见下文。 选择3.8.5以获得数据构建工具兼容性。
使用设置Python环境
要运行dbt，您需要将其添加到~/.dbt/profiles.yml 用您的值替换主机，用户名和密码（不包括括号）
建议工具
是一个命令行实用程序，用于从markdown文件渲染实体关系图。 这具有能够获得控制ERD图的另一个好处。
是一个有用的VS Code插件，支持* .er文件的语法突出显示。
是用于通过命令行管理虚拟环境的出色工具。 设置.envrc文件时，当您cd进入
【文件预览】：
data-processing-main
----.gitignore(2KB)
----.exports_example(132B)
----requirements.txt(2KB)
----save_all_the_pets()
--------packages.yml(124B)
--------.gitignore(28B)
--------snapshots()
--------macros()
--------data()
--------analysis()
--------dbt_project.yml(1KB)
--------models()
--------README.md(744B)
--------tests()
----database-setup()
--------setup_policy_for_rds.sh(951B)
--------database-setup.sql(1KB)
----LICENSE(1KB)
----processing-zip-code-data()
--------.gitignore(0B)
--------2_load_into_rds.sh(114B)
--------1_zip_code_processing.sh(69B)
--------README.md(206B)
--------process_zip_code_table.sql(879B)
----setup_python.sh(174B)
----README.md(3KB)
----setup_venv.sh(846B)
----example()
--------access_postgress_example.py(671B)
--------access_data_example.py(122B)
----processing-shelter-data()
--------Dockerfile(144B)
--------4_load_into_rds_postgres.sh(116B)
--------2_import_database.sh(137B)
--------export_dataexport.sql(46B)
--------fix_export_file.py(131B)
--------1_setup_mssql_docker.sh(217B)
--------README.md(1KB)
--------load_shelter_data_export.sql(957B)
--------import_database_file.sql(242B)
--------3_produce_data_extract.sh(434B)
----profiles_example.yml(422B)
----docs()
--------shelter_data_erd.jpg(100KB)
--------shelter_data_erd.er(1KB)
--------examples()
--------README.md(619B)
--------render_erd.sh(35B)