文件名称：parquet-avro-protobuf:例子
文件大小：57KB
文件格式：ZIP
更新时间：2024-05-18 23:27:30
Java
通过Avro将Protobuf转换为Parquet 为什么？ 本示例说明如何使用Parquet的Avro对象模型和Avro对protobuf对象的支持将Protobuf文件转换为Parquet文件。 Parquet具有直接与Protobuf对象一起使用的模块，但是在为其他读取器（如Hive）编写数据时，这并非总是一个好的选择。 原因是Parquet和Protobuf使用相同的架构定义。 两者都支持必需的，可选的和重复的数据字段，并使用重复对数组进行编码。 从Protobuf到Parquet的映射始终为1比1。 其他对象模型（例如Avro）允许数组为null或包含null元素，并具有注释 ，以便使用额外的隐藏层以Parquet的架构格式对这些更复杂的结构进行编码。 与无重复字段相比，使用这种结构的对象模型更多，因此希望在转换时使用它。 使用复杂的LIST结构存储protobuf数据的
【文件预览】：
parquet-avro-protobuf-master
----.gitignore(48B)
----settings.gradle(651B)
----build.gradle(776B)
----src()
--------main()
----gradlew(5KB)
----README.md(3KB)
----gradlew.bat(2KB)
----gradle()
--------wrapper()