文件名称：sleepyjson:读取大型JSON文件而无需占用大量内存
文件大小：17KB
文件格式：ZIP
更新时间：2024-06-06 03:38:54
Python
sleepyjson 在某些情况下，尤其是在大数据场景中，有必要从JSON文件中提取信息，而无需将全部内容读取到内存中。 有关示例，请参见下面的“示例”部分。 sleepyjson提供了一种处理这种情况的机制，在这种情况下，仅在找到必要的信息之前解析JSON文件，并且仅将数据保留在内存中。 尽管该软件包提供了处理对文件内容的随机访问的方法，但是随机访问在文件大小的线性时间内运行。 实际上，该软件包的整个想法是支持对JSON文件进行轻量级的内存顺序处理。 例子 假设您有一个10GB的JSON文件，其中最大的值是一个数组，并且各个项目都遵循可预测的结构，如下面的代码段所示（假设*数组包含数百万个项目，并且代码snippets包含具有潜在影响的大型数组长字符串）。 还要想象一下，您想提取与年份相关的标识符，这些标识符可追溯到每年的一月。 [ { " identifier "
【文件预览】：
sleepyjson-master
----.gitignore(67B)
----README.md(12KB)
----tests()
--------conftest.py(497B)
--------unit()
--------feature()
----LICENSE(1KB)
----sleepyjson()
--------node.py(14KB)
--------__init__.py(56B)
--------reader.py(1KB)
----setup.py(689B)