文件名称：Wallstreet
文件大小：34.48MB
文件格式：ZIP
更新时间：2024-04-18 10:05:16
Python
华尔街计划 概括 你好！ 该存储库是一个数据工程概念验证项目。 该项目的目标是将一系列金融市场数据管道编排到一个数据湖中。 为此，我将运行一系列机器学习Jupyter笔记本。 这些分析的结果将广播到商业智能仪表板上。 技术栈 容器协调器 Kubernetes将在此存储库中编排Docker容器。 因为Kubernetes是自治容器管理器，所以它可以在程序执行时启动，检查和重新启动容器。 这样可以确保有相当数量的自治基础结构来维护dagster管道的完整性。 Kubernetes还为该项目提供了以Amazon EC2之类的云原生格式托管的项目的机会，可以根据需要自动增加和减少云的存在，以满足不断变化的需求。 数据工程协调员 Dagster及其用户界面Dagit将是观察数据管道的主要方法。 由于设计的故意抽象，Dagster能够连续集成更多专业工具，例如Airflow，Great Expecta