【文件属性】：
文件名称：spark-csvconverter:使用spark在hdfs上转换csv文件的java代码简单示例
文件大小：4KB
文件格式：ZIP
更新时间：2024-07-08 11:13:08
Java
一个简单的java程序，使用spark将HDFS上的csv文件转换为另一种csv格式。
更确切地说：
如果所有行都可以独立转换，则可以转换任何文本文件
它可以在本地或火花集群上运行（参见-master参数）
它可以在本地 FS 或 hdfs 上运行（请参阅-namenode参数）
输出是诸如map-reduce产生的部分文件
如果存在，则在运行转换之前删除输出文件夹
作者
使用maven编译：
mvn package
跑步：
java -cp "HdfsCsvConverter.jar:/path/to/spark-assembly-1.1.1-hadoop2.4.0.jar" \
hdfs.csvconvert.Converter \
[-master spark://xxxxx:pppp] \
[-namenode hdfs://yyy
【文件预览】：
spark-csvconverter-master
----src()
--------main()
----pom.xml(2KB)
----README.md(1KB)