SparkJavaJson:使用Spark进行JSON解析

时间:2024-06-05 06:46:43
【文件属性】:

文件名称:SparkJavaJson:使用Spark进行JSON解析

文件大小:3.78MB

文件格式:ZIP

更新时间:2024-06-05 06:46:43

Java

SparkJava的杰森 在执行以下命令之前,请在sparkjob.conf文件中更改spark.driver.extraClassPath属性。 ./bin/spark-submit --class org.sparketl.etljobs.SparkEtl --properties-file sparkjob.conf /sparketl/target/sparketl-0.0.1-SNAPSHOT.jar {spark master url} {使用存在的city_list.json在此项目中} {输出文件(用于配对RDD){单个RDD的输出文件}} {国家(地区):美国} 对于Spark初学者,请转到


【文件预览】:
SparkJavaJson-master
----sparketl()
--------src()
--------.classpath(1KB)
--------.settings()
--------pom.xml(2KB)
--------city_list.json(18.32MB)
--------target()
--------.project(537B)
--------sparkjob.conf(214B)
----README.md(488B)

网友评论