文件名称：spark-csvconverter:使用spark在hdfs上转换csv文件的java代码简单示例
文件大小：4KB
文件格式：ZIP
更新时间：2024-07-08 11:13:08
Java
一个简单的java程序，使用spark将HDFS上的csv文件转换为另一种csv格式。 更确切地说： 如果所有行都可以独立转换，则可以转换任何文本文件 它可以在本地或火花集群上运行（参见-master参数） 它可以在本地 FS 或 hdfs 上运行（请参阅-namenode参数） 输出是诸如map-reduce产生的部分文件 如果存在，则在运行转换之前删除输出文件夹 作者 使用maven编译： mvn package 跑步： java -cp "HdfsCsvConverter.jar:/path/to/spark-assembly-1.1.1-hadoop2.4.0.jar" \ hdfs.csvconvert.Converter \ [-master spark://xxxxx:pppp] \ [-namenode hdfs://yyy
【文件预览】：
spark-csvconverter-master
----src()
--------main()
----pom.xml(2KB)
----README.md(1KB)