文件名称：databricks-workflow:使用Databricks设置可扩展的IoT数据处理管道的示例
文件大小：49KB
文件格式：ZIP
更新时间：2024-06-16 05:48:27
Scala
Databricks工作流程（Alpha） 该存储库是如何使用Databricks建立多环境数据处理管道的示例。 如果您是数据工程或数据科学团队的成员，并且想要在Databricks中启动项目，则可以将该存储库用作快速入门。 该模板显示了我们为建立的用于生产，研发的最佳实践和流程。 此代码可以帮助您从头开始获得可能的问题的答案，例如： 如何在Databricks中建立生产管道？ 如何在Spark转换上运行单元测试？ 如何在Notebook工作流程上运行集成测试？ 如何快速在真实数据上原型化数据转换？ 如何将笔记本实验重构为经过测试的代码？ 如何组织代码？ 如何管理多个环境和配置？ 此存储库也是向所有看到我们的当前实践有所改进的开发人员的公开邀请。 不要犹豫，做出贡献并提出您的建议！ 入门 为了开始使用Databricks的付费版或试用版，请按照以下步骤操作。 如果要
【文件预览】：
databricks-workflow-master
----.gitignore(586B)
----Makefile(2KB)
----project()
--------plugins.sbt(117B)
--------build.properties(18B)
----LICENSE(11KB)
----doc()
--------databricks_community_edition_instructions.md(2KB)
----scala()
--------.gitignore(201B)
--------Makefile(420B)
--------project()
--------src()
--------build.sbt(1KB)
----.github()
--------workflows()
----scripts()
--------install_library_on_cluster.sh(2KB)
--------import_notebooks.sh(277B)
--------dev.sh(3KB)
--------run_jobs.sh(1KB)
--------publish_artifacts.sh(1KB)
--------deploy_jobs.sh(4KB)
----README.md(5KB)
----jobs()
--------notebooks()
--------Readme.md(1KB)
--------environments()
--------job_configuration()
--------build.sbt(316B)
----build.sbt(728B)