文件名称：quasar:DoSomething数据平台（ETL，数据管道，数据仓库等）
文件大小：285KB
文件格式：ZIP
更新时间：2024-04-21 00:33:33
Python
类星体 DoSomething.org数据平台。 作为一个小团队，我们尽可能地利用我们的资源。 我们尽可能使用托管的第三方服务，以防止重新发明*和维护自定义代码。 当第三方服务不可用或过大时，我们使用Python。 建筑学 我们的架构分阶段进行： 阶段 服务 提取和加载 Fivetran，自定义Python API抓取工具和事件使用者 贮存 AWS PostgreSQL RDS 转变 DBT 商业智能与分析 Looker，Jupyter笔记本 编排 Jenkins在AWS EC2上 数据沿袭 我们使用DBT将原始数据转换为丰富的数据端点，以进行指标和分析。 每当新代码合并到我们的主分支中时，数据沿袭就被编译成一个依赖关系图。 它可以在线DBT文档中可见。 版本控制 我们使用Git和Github对版本的源代码进行版本控制。 实用脚本 我们保留可自动执行杂项任务的实用程序脚本。 我们