【文件属性】:
文件名称:crunch-csv-to-rcfile:将 CSV 压缩为 RCFile 示例
文件大小:5KB
文件格式:ZIP
更新时间:2021-06-20 23:18:37
Java
将 CSV 压缩为 RCFile
这个简单的项目以输入 CSV 数据为例,演示了如何使用 Apache Crunch 写出 RCFile 文件。
使用以下命令运行作业:
hadoop jar crunchcsvtorcfile-0.0.1-SNAPSHOT-job.jar [numberofcolumnsinthedata] /your/path/to/input/csv/ /your/output/path/
使用以下命令读取 Impala 或 Hive 中的 RCFile 数据:
CREATE EXTERNAL TABLE rc_output (field1name field1type, [etc.])
STORED AS RCFILE
LOCATION '/your/output/path/';
SELECT * FROM rc_output;
【文件预览】:
crunch-csv-to-rcfile-master
----pom.xml(2KB)
----src()
--------main()
----README.md(500B)