lazydata:Lazydata:Python项目的可扩展数据依赖项

时间:2024-02-25 07:22:56
【文件属性】:

文件名称:lazydata:Lazydata:Python项目的可扩展数据依赖项

文件大小:169KB

文件格式:ZIP

更新时间:2024-02-25 07:22:56

python data-science machine-learning datamanagement MachinelearningPython

lazydata:可扩展的数据依赖性 lazydata是用于将数据依赖项包含到Python项目中的简约库。 问题:将所有数据文件保存在git中(例如,通过git-lfs)会导致膨胀的存储库副本,并且需要很长时间才能完成。 保持代码和数据不同步是一场灾难,等待发生。 解决方案: lazydata仅将对数据文件的引用存储在git中,并在需要时按需同步数据文件。 原因:代码和数据的语义不同-需要对代码进行版本控制以将其合并,而数据只需保持同步即可。 lazydata以最小的方式实现了这一目标。 好处: 仅使用代码即可保持git存储库的清洁,同时能够无缝访问任意数量的链接数据文件 使用文件哈


【文件预览】:
lazydata-master
----release.sh(285B)
----docs()
--------lazydata-project-col.png(32KB)
--------lazydata-project-col2.png(36KB)
--------lazydata-project.png(31KB)
--------lazydata-graph.png(50KB)
----tests()
--------templates()
--------test_local_project.py(2KB)
----lazydata()
--------bin()
--------config()
--------tracker.py(4KB)
--------storage()
--------__init__.py(47B)
--------cli()
----__main__.py(98B)
----LICENSE(11KB)
----requirements.txt(76B)
----setup.py(892B)
----.gitignore(117B)
----.circleci()
--------config.yml(2KB)
----README.md(5KB)

网友评论