SparkMavenJava:Spark Maven Java项目

时间:2024-05-30 14:54:53
【文件属性】:

文件名称:SparkMavenJava:Spark Maven Java项目

文件大小:30KB

文件格式:ZIP

更新时间:2024-05-30 14:54:53

Java

SparkMavenJava的 Spark Maven Java项目 要执行spark作业,请运行以下命令替换{}中的属性。 ./bin/spark-submit --class org.spark.workingsample.WordCountSpark --properties-file {config file .conf} {jar file} {spark master URL ex:spark:// xxxxx:7077} {input_file} { output_file} {输出文件数} 使用在此存储库中找到的sparkjob.conf或构建您的自定义配置文件。 以下是针对尚未独立安装Spark的用户的说明 注意:Spark可以安装在任何unix之类的系统上(Mac,Linux的任何版本等)。 如有必要,跳过步骤 步骤1:安装Oracle JDK 8(使用Java


【文件预览】:
SparkMavenJava-master
----.project(534B)
----.DS_Store(6KB)
----sparkjob.conf(151B)
----src()
--------.DS_Store(6KB)
--------test()
--------main()
----target()
--------maven-status()
--------classes()
--------surefire-reports()
--------spark-0.0.1-SNAPSHOT.jar(9KB)
--------maven-archiver()
--------test-classes()
----.settings()
--------org.eclipse.m2e.core.prefs(86B)
--------org.eclipse.jdt.core.prefs(652B)
--------org.eclipse.core.resources.prefs(115B)
----README.md(2KB)
----pom.xml(2KB)
----.classpath(998B)
----.gitignore(9B)

网友评论