diced:允许对云支持的nD数据集进行版本控制访问的界面

时间:2024-05-22 01:06:12
【文件属性】:

文件名称:diced:允许对云支持的nD数据集进行版本控制访问的界面

文件大小:26KB

文件格式:ZIP

更新时间:2024-05-22 01:06:12

github cloud numpy arrays dvid

切丁(切丁是启用云的DVID) DICED是库的包装,可方便地公开用于nD图像和文件存储的API子集,可以从云存储有效地访问该子集。 由于DICED是DVID的包装,因此仍可以通过其HTTP API访问主要的DVID功能。 概述 该软件包可以在本地和云上存储和访问海量数据阵列。 它结合了来自github的想法,例如版本控制和不同数据存储库的概念,以实现对大型数组数据的有效管理。 DICED的一个显着应用是存储万亿级3D图像数据,因为此软件包将对数据进行分块以实现快速随机访问。 nD数组数据通常使用python中的numpy数组进行处理,并使用诸如hd5之类的文件格式保存在磁盘上。 DICED提供了对numpy之类的数组的简单python访问,但是它还允许处理每个维度的任意大(最多32位有符号整数),并利用云上的现代大规模分布式存储。 这样,可以将DICED用于海量,高吞吐量的读取,而无


【文件预览】:
diced-master
----MANIFEST.in(49B)
----.gitmodules(117B)
----diced()
--------DicedException.py(132B)
--------DicedStore.py(12KB)
--------DicedArray.py(14KB)
--------tests()
--------DicedRepo.py(15KB)
--------__init__.py(128B)
--------dvid-console()
----setup.py(414B)
----.gitignore(37B)
----circle.yml(2KB)
----conda-recipe()
--------meta.yaml(848B)
--------run_test.sh(39B)
--------build.sh(153B)
----README.md(8KB)
----LICENSE.txt(2KB)
----clouddvid_scripts()
--------destroy_dvidcloud(384B)
--------setup_dvidcloud(2KB)

网友评论