文件名称:avroknife:用于浏览和简单操作基于Avro的文件的实用程序
文件大小:40KB
文件格式:ZIP
更新时间:2024-05-30 13:09:43
Python
关于 该项目提供了一个命令行实用程序,用于浏览和简单操作基于Avro的文件。 是一种序列化格式,被发明为数据处理任务之间的一种与语言无关的通信方式。 Hadoop任务产生的输出在抽象级别上可以看作是相同类型的对象的列表。 实际上,当使用Avro格式时,此列表在文件系统中表示为包含许多Avro格式文件的目录,其中每个文件具有相同的架构。 我们将此目录称为Avro数据存储。 avroknife允许浏览和简单操作Avro数据存储。 它的灵感来自Avro库自己的工具avro-tools ,该avro-tools与该库一起作为*.jar文件分发。 除了特定功能上的差异外,这两者之间的主要哲学差异是avroknife在整个Avro数据存储上运行,而avro-tools在单个Avro文件上运行。 特征 访问放置在本地文件系统以及Hadoop分布式文件系统(HDFS)中的Avro数据存储。 请注意,
【文件预览】:
avroknife-master
----MANIFEST.in(85B)
----scripts()
--------avroknife(10KB)
----avroknife()
--------file_system.py(5KB)
--------error.py(720B)
--------utils.py(3KB)
--------printer.py(1KB)
--------data_store.py(6KB)
--------__init__.py(932B)
--------operations.py(8KB)
--------RELEASE-VERSION(6B)
--------test()
--------record_selector.py(6KB)
----requirements.txt(17B)
----TODO.markdown(238B)
----README.markdown(8KB)
----.travis.yml(104B)
----LICENSE(11KB)
----setup.cfg(22B)
----setup.py(2KB)
----Makefile(2KB)
----NOTICE(566B)
----.gitignore(77B)