文件名称:json2parquet:使用PyArrow将JSON文件转换为Parquet
文件大小:14KB
文件格式:ZIP
更新时间:2024-06-15 15:33:24
Python
Json2实木复合地板 该库包装了pyarrow ,提供了一些工具,可以轻松地将JSON数据转换为Parquet格式。 它主要是在Python中。 遍历文件。 它将数据多次复制到内存中。 这并不意味着它是最快的东西。 但是,它对于较小的数据集或速度没有太大问题的人很方便。 安装 随着点: pip install json2parquet 随着conda: conda install -c conda-forge json2parquet 用法 这是加载随机JSON数据集的方法。 from json2parquet import convert_json # Infer Schema (requires reading dataset for column names) convert_json ( input_filename , output_filename ) # Giv
【文件预览】:
json2parquet-master
----setup.py(1KB)
----.gitignore(112B)
----json2parquet()
--------__init__.py(308B)
--------client.py(6KB)
--------helpers.py(5KB)
----Makefile(2KB)
----.travis.yml(311B)
----MANIFEST.in(60B)
----.pre-commit-config.yaml(544B)
----LICENSE(1KB)
----setup.cfg(95B)
----README.rst(4KB)
----tests()
--------__init__.py(0B)
--------test_client.py(6KB)
--------fixtures()
----CHANGELOG.rst(2KB)
----development.txt(50B)