Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）

Spark学习笔记3

IDEA编写scala代码并打包上传集群运行

我们在IDEA上的maven项目已经搭建完成了，现在可以写一个简单的spark代码并且打成jar包

上传至集群，来检验一下我们的spark搭建后是否真正可以使用了

1.今天就和大家写一个计算π的spark代码

下面我把已经写好了的代码放在下面，大家可以借以参考一下

 package day02

 import org.apache.spark.{SparkConf, SparkContext}

 import scala.math.random

 object SparkPi02 {

   def main(args: Array[String]): Unit = {

     val spark = new SparkContext( new SparkConf().setAppName("SparkPi02"))

     val slices = if (args.length > 0) args(0).toInt else 2

     val n = math.min(100000L * slices,Int.MaxValue).toInt

     val count = spark.parallelize(1 until n,slices).map { i =>

         val x = random * 2 - 1

         val y = random * 2 - 1

         if (x * x + y * y < 1) 1 else 0

     }.reduce(_+_)

     println("Pi is roughly" + 4.0 * count / n)

     spark.stop()

   }

 }

写好我们的代码之后还要做一件非常重要的事情，就是把这个代码打包上传到我们的集群里

2.这里来给大家演示一下如何把代码打成jar包和上传到集群的操作

有两种方法可以打包

第一种：

把IDEA右侧的一个叫maven project的目录打开