大数据入门第二十一天——scala入门(一)并发编程Actor

时间:2023-03-09 19:46:44
大数据入门第二十一天——scala入门(一)并发编程Actor

注:我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。

Scala在2.11.x版本中将Akka加入其中,作为其默认的Actor,老版本的Actor已经废弃

一、概述

  1.什么是actor

  Scala的Actor类似于Java中的多线程编程。但是不同的是,Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态,从而避免多线程并发时出现资源争用的情况,进而提升多线程编程的性能。此外,Scala Actor的这种模型还可以避免死锁等一系列传统多线程编程的问题。 Spark中使用的分布式多线程框架,是Akka。Akka也实现了类似Scala Actor的模型,其核心概念同样也是Actor

  2.scala与传统Java多线程编程

  大数据入门第二十一天——scala入门(一)并发编程Actor

  

  对于Java,我们都知道它的多线程实现需要对共享资源(变量、对象等)使用synchronized 关键字进行代码块同步、对象锁互斥等等。而且,常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源,对这些资源进行共享来实现多线程编程的话,控制好资源竞争与防止对象状态被意外修改是非常重要的,而对象状态的不变性也是较难以保证的。

  而在Scala中,我们可以通过复制不可变状态的资源(即对象,Scala中一切都是对象,连函数、方法也是)的一个副本,再基于Actor的消息发送、接收机制进行并行编程。

  3.actor方法执行顺序

    1.首先调用start()方法启动Actor

    2.调用start()方法后其act()方法会被执行

    3.向Actor发送消息

  4.发送消息的方法

    

!

发送异步消息,没有返回值。

!?

发送同步消息,等待返回值。

!!

发送异步消息,返回值是 Future[Any]。

二、Actor实战

  1.快速入门示例

    Scala提供了Actor trait来让我们更方便地进行actor多线程编程,就Actor trait就类似于Java中的Thread和Runnable一样,
  是基础的多线程基类和接口。我们只要重写Actor trait的act方法,即可实现自己的线程执行体,与Java中重写run方法类似。
    此外,使用start()方法启动actor;使用!符号,向actor发送消息;actor内部使用receive和模式匹配接收消息

package com.jiangbei
// 注意这里是2.10版本的Actor所在的包,后续新版本已经废弃,转为Akka
import scala.actors.Actor object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动!")
MyActor1.start()
MyActor2.start()
}
} object MyActor1 extends Actor {
override def act(): Unit = {
for (i <- 11 to 19) {
println("actor01---" + i)
Thread.sleep(500)
}
}
} object MyActor2 extends Actor {
override def act(): Unit = {
for (i <- 21 to 29) {
println("actor02---" + i)
Thread.sleep(500)
}
}
}

  说明:上面分别调用了两个单例对象的start()方法,他们的act()方法会被执行,相同与在java中开启了两个线程,线程的run()方法会被执行

  注意:这两个Actor是并行执行的,act()方法中的for循环执行完成后actor程序就退出了

  2.可以不断地接收消息

package com.jiangbei

import scala.actors.Actor

object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动!")
val actor1 = new MyActor1
actor1.start()
// 以下为异步消息,不等待返回
actor1 ! "start"
actor1 ! "stop"
println("消息发送完毕!")
}
} class MyActor1 extends Actor {
override def act(): Unit = {
while (true) { //以下就是偏函数
receive {
case "start" => {
println("启动中...")
Thread.sleep(500)
println("启动完成!")
}
case "stop" => {
println("停止中...")
Thread.sleep(500)
println("停止完成!")
}
}
}
}
}

  结果:

线程 启动!
消息发送完毕!
启动中...
启动完成!
停止中...
停止完成!

  3.react方式会复用线程,比receive更高效

package com.jiangbei

import scala.actors.Actor

object ActorTest {
def main(args: Array[String]): Unit = {
println("线程 启动!")
val actor1 = new MyActor1
actor1.start()
// 以下为异步消息,不等待返回
actor1 ! "start"
actor1 ! "stop"
println("消息发送完毕!")
}
} class MyActor1 extends Actor {
override def act(): Unit = {
loop {
react {
case "start" => {
println("starting ...")
Thread.sleep(1000)
println("started")
}
case "stop" => {
println("stopping ...")
Thread.sleep(1000)
println("stopped ...")
}
}
}
}
}

  4.结合case class发送消息

package cn.itcast.actor
import scala.actors.Actor class AppleActor extends Actor { def act(): Unit = {
while (true) {
receive {
case "start" => println("starting ...")
case SyncMsg(id, msg) => {
println(id + ",sync " + msg)
Thread.sleep(5000)
sender ! ReplyMsg(3,"finished")
}
case AsyncMsg(id, msg) => {
println(id + ",async " + msg)
Thread.sleep(5000)
}
}
}
}
} object AppleActor {
def main(args: Array[String]) {
val a = new AppleActor
a.start()
//异步消息
a ! AsyncMsg(1, "hello actor")
println("异步消息发送完成")
//同步消息
//val content = a.!?(1000, SyncMsg(2, "hello actor"))
//println(content)
val reply = a !! SyncMsg(2, "hello actor")
println(reply.isSet)
//println("123")
val c = reply.apply()
println(reply.isSet)
println(c)
}
}
case class SyncMsg(id : Int, msg: String)
case class AsyncMsg(id : Int, msg: String)
case class ReplyMsg(id : Int, msg: String)

  5.练习:actor版wordCount

package cn.itcast.actor

import java.io.File

import scala.actors.{Actor, Future}
import scala.collection.mutable
import scala.io.Source /**
* Created by ZX on 2016/4/4.
*/
class Task extends Actor { override def act(): Unit = {
loop {
react {
case SubmitTask(fileName) => {
val contents = Source.fromFile(new File(fileName)).mkString
val arr = contents.split("\r\n")
val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)
//val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.foldLeft(0)(_ + _._2))
sender ! ResultTask(result)
}
case StopTask => {
exit()
}
}
}
}
} object WorkCount {
def main(args: Array[String]) {
val files = Array("c://words.txt", "c://words.log") val replaySet = new mutable.HashSet[Future[Any]]
val resultList = new mutable.ListBuffer[ResultTask] for(f <- files) {
val t = new Task
val replay = t.start() !! SubmitTask(f)
replaySet += replay
} while(replaySet.size > 0){
val toCumpute = replaySet.filter(_.isSet)
for(r <- toCumpute){
val result = r.apply()
resultList += result.asInstanceOf[ResultTask]
replaySet.remove(r)
}
Thread.sleep(100)
}
val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))
println(finalResult)
}
} case class SubmitTask(fileName: String)
case object StopTask
case class ResultTask(result: Map[String, Int])