文件名称：parquet-mr-example
文件大小：6KB
文件格式：ZIP
更新时间：2024-06-30 09:54:27
Java
实木复合地板先生示例 如何在 MapReduce 中使用 Parquet 和 Avro 作为对象模型。 所以使用 Parquet Group 类的问题是当你的架构非常大时。 映射器每次都需要为每条记录创建记录的字符串表示形式，这样做需要很长时间。 最重要的是，您需要拆分结果字符串以进行处理。 如您所知，您也不能将 Group 类用作 Mapper 和 Reducer 之间的中间值，因为它不可序列化。 因此，您需要使用更高效的不同对象模型。 进入阿夫罗。 Avro 和 Parquet 配合得非常好，是处理 Parquet 时的首选对象模型。 为了澄清起见，我们在这里讨论的是内存中对象模型。 Parquet 的“默认示例”是 Group，但您也可以使用 Thrift、Google Protocol Buffers、Hive 或 Pig。 但是磁盘上的存储格式仍然是 Parquet。 您仍
【文件预览】：
parquet-mr-example-master
----src()
--------main()
----README.md(1KB)
----pom.xml(3KB)
----.gitignore(39B)