【文件属性】：
文件名称：mastro:Go中的数据和功能目录
文件大小：114KB
文件格式：ZIP
更新时间：2021-03-30 21:37:27
metadata machine-learning catalogue crawlers feature-engineering
马斯特罗
:construction_worker: Go中的数据和功能目录
数据是什么？
目标
管理元数据以实现：
沿袭-了解数据依赖性
质量-通过可靠性信息丰富数据
*化-养成自助文化
数据转换层的建模可促进：
重用-在不同用例中具有领域特定知识和预先计算的功能
实施-已确定的行业或特定领域的转换和实践
互动-通过团队和项目在不同角色之间
免责声明
Mastro仍在开发中，并且未经测试。 请分叉存储库并根据需要扩展它。
TL-DR
术语：
-处理与卷和数据库的连接的组件
用于管理功能（即featureSet和featureStates）的服务；
-用于管理数据资产（即静态数据定义及其关系）的服务；
-能够列出和遍历文件系统，过滤和解析资产定义（即清单文件）并将其推送到目录的任何代理；
帮助：
地位：
【文件预览】：
mastro-main
----conf()
--------catalogue()
--------featurestore()
--------crawler()
----go.mod(2KB)
----main.go(1KB)
----utils()
--------conf()
--------date()
--------kerberos()
--------ux()
--------queries()
--------strings()
--------errors()
--------paths()
----.github()
--------workflows()
----Dockerfile.static(203B)
----go.sum(34KB)
----run_godoc_server.sh(132B)
----catalogue()
--------crawlers()
--------daos()
--------service.go(3KB)
--------controller.go(4KB)
--------dao_mappings.go(659B)
----.vscode()
--------settings.json(31B)
----img()
--------ml_dev_process.png(20KB)
----Dockerfile(1KB)
----doc()
--------CONNECTORS.md(583B)
--------FEATURESTORE.md(5KB)
--------CATALOGUE.md(4KB)
--------K8S-DEPLOY.md(13KB)
--------CONFIGURATION.md(3KB)
--------CRAWLERS.md(2KB)
----LICENSE(11KB)
----sources()
--------hive()
--------redis()
--------impala()
--------s3()
--------elastic()
--------hdfs()
--------mongo()
----README.md(2KB)
----targets()
--------crawlers()
--------catalogue()
--------featurestore()
----featurestore()
--------daos()
--------service.go(3KB)
--------controller.go(4KB)
--------dao_mappings.go(745B)
----abstract()
--------crawler.go(268B)
--------datasource.go(298B)
--------asset_dao.go(406B)
--------asset_test.go(515B)
--------featureset_dto.go(2KB)
--------db_asset.go(2KB)
--------asset.go(3KB)
--------featureset_dao.go(389B)
----integration_tests()
--------start_postgres.sh(246B)
--------start_mongo.sh(292B)
--------start_elastic.sh(135B)
----.gitignore(288B)
----build_target.sh(3KB)