第一阶段：Spark streaming、spark sql、kafka、spark内核原理（必须有一个大型项目经验）；
第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理）；
第三阶段：流处理、机器学习为鳌头，需要首先掌握前两个阶段的内容；
跟随王家林老师的零基础讲解，注重动手实战，成为spark高数，笑傲大数据之林！
第一部分：学习笔记
内容：1 Scala的重大价值
2 Scala基础语法入门实战
3 Scala函数入门实战
4 Scala中Array、Map、Tuple实战
5 综合案例及Spark源码解析
一、scala价值
Scala可伸缩的语言的英语翻译是：Scalable Language。它是一门多范式的编程语言，一种类似java的编程语言，集成面向对象编程和函数式编程的各种特性并完美结合，熟练掌握scala对于学习spark来说至关重要。
二、Scala函数定义：
（scala函数定义时候默认会导入包）
有参数的函数定义
def 函数名（参数列表，...)：返回结果类型={...}
① 有时函数必须制定返回结果类型，如函数时递归，就必须明确制定返回结果类型；
② 如果函数仅一个语句，连花括号都可以不写。如是max函数就成了这样,作用功能仍然没有变化；
③ Scala语言在进行函数调用时可不加（）；
④ Scala语言在编写的时候亦可以不用加“；”
⑤ Scala中，i++或者++i都不能其作用，只能使用i=i+1
⑥ foreach与函数字面量
函数字面量格式：参数列表 => 函数体
(x: Int, y:Int) => x + y
⑦ for循环中是val类型，因此在for表达式中不能重新对其赋值,<-可以理解为其中的意思for(arg<-args)函数调用。
//可以使用sum( 1 to 100 _*)求和
val arr= Array(10,11,2,4,123,2)
val hello = for(i<- 0 until(arr.length,2))println(arr(i))
//注：Scala 三元符表达示例：
var file=if（!args.isEmpty）args(0) else scala.xml
使用scala解释器REPL中的黏贴模式，将代码块黏贴进去方便执行分析。
//Scala输入输出形式较丰富
print("\n I'm a Student!")
printf("%s the future of BigDate computation framework:\n","Spark")
三、字段定义
（1）val:类似java中final类型的变量（常量）
1，基本格式：val 变量名：变量类型 = 值
2，其中有时变量类型可以省略，可以自动识别
3，常量不能赋值，修改
（2）var:等同于java中的非final型变量
四、scala中的Array、Map、Tuple实战
（1）map
Map就是键值对的集合。在Scala中，Map是对偶（键值对的另一个说法）的集合。->操作符用来创建对偶，即key和values。
/*
* Map:映射，把值和集合中的元素联系起来，使用任意类型的键
*/
val map1 = Map{"hadoop"->1 }
map1 + ("spark"->2)
map1（("spark"）=3 //更改已有的值
map1.contains("scala") //检查是否包含
map1.keySet //返回key集合
//添加多个对偶，使用“+=”操作符：
map1+=("Flink"->3,"Hbase"->5)
//移除某个对偶，使用“-=”操作符：
map1-="hadoop"
import scala.collection.mutable._
val map2 = mutable.Map.empty[String,Int]//创建空map
（2）List
List列表（不可变）
1，类型都是相同的
2，不可变的，（Array虽然长度固定，但是元素之使可变的）
3，(：：：)实现叠加List,(::)cons:将新元素组合到列表的最前端
/*
* List:支持头部的快速删除和添加,不可变，列表的所有元素都具有相同类型，类似于数组Array
*/
val color = List("yellow","blue")
val list2 = (1,2,3)
var list3 = 4
def list4:Int = 5
/*
* listBuffer：可以更加高效的通过添加元素的方式构建列表
* 元素的添加使用+=操作符
* 元素的前缀使用+:操作符
*/
import scala.collection.mutable.ListBuffer
val li= new ListBuffer[Int]
li+= 1
li +=2
3+:li
li.toList
println(li(2))
（3）Array数组
/*/
* Array:使用基于0的索引高效访问任意位置的元素
*/
val array1 = Array[Int](1,2,3,4,54,5,5)
val array3 = new Array[Int](3) //创建长度已知，内容未知
println(array3(2))
array1.clone()
array1.length
var array = array1
/*
* ArrayBuffer：类似于数组，可以在序列的结束和开始的地方添加元素
* 创建ArrayBuffer的时候必须指定它的类型参数，可以不指定数组的长度
* ArrayBuffer也使用+=添加元素
*/
import scala.collection.mutable.ArrayBuffer
val ar= new ArrayBuffer[String]()
ar += "hadoop"
ar += "Spark"
ar +: "scala"
li.length
li(2)
Ar.remove(2,1)
（4）Tuple元组（不可变）
在Scala中，元组是n个对象的一个聚集（Map是n=2个对象的聚集），元组可以包含不同类型的元素。
1，元组也是不可变的，但是元组可以是不同类型的数据
2，实例化：var a = （，）
3,可以通过点号，下划线，-N（N从1开始）的索引访问元素
/*
* Tuple:元组，把固定数量的条木组合在一起整体传送，可以包含不同 *的类型
*/
val tuple = (1,"spark",true)
tuple._1
tuple._2
tuple.->(1)
第二部分：作业完成
1、移除一个数组中第一个负数后的所有负数；（效率）
import Array._
import scala.collection.mutable._
val myArray = new ArrayBuffer[Int]()
while(myArray!=null){
val arr:Array[Int] ={for(i <- 0 until myArray.length if myArray(i)<0) concat(myArray.filter ( _>0),myArray.filter (_ <0)(0))else myArray.toArray}
println(arr)
//concat()方法来连接两个数组