crunch-csv-to-rcfile:将 CSV 压缩为 RCFile 示例

时间:2024-07-10 17:05:17
【文件属性】:

文件名称:crunch-csv-to-rcfile:将 CSV 压缩为 RCFile 示例

文件大小:5KB

文件格式:ZIP

更新时间:2024-07-10 17:05:17

Java

将 CSV 压缩为 RCFile 这个简单的项目以输入 CSV 数据为例,演示了如何使用 Apache Crunch 写出 RCFile 文件。 使用以下命令运行作业: hadoop jar crunchcsvtorcfile-0.0.1-SNAPSHOT-job.jar [numberofcolumnsinthedata] /your/path/to/input/csv/ /your/output/path/ 使用以下命令读取 Impala 或 Hive 中的 RCFile 数据: CREATE EXTERNAL TABLE rc_output (field1name field1type, [etc.]) STORED AS RCFILE LOCATION '/your/output/path/'; SELECT * FROM rc_output;


【文件预览】:
crunch-csv-to-rcfile-master
----pom.xml(2KB)
----src()
--------main()
----README.md(500B)

网友评论