计算机运算速度与内存读写存储速度相差好几个量级,大量的时间都浪费在了IO上,导致性能降低。而JMM就是为了解决这类问题。
并发的一个场景:服务端同时对多个客户端提供服务。
衡量一个服务性能的高低好坏,每秒事务处理数Transactions Per Scend,TPS,是最重要的指标之一,代表一秒内服务端平均响应的请求总数,TPS的值和并发能力联系非常密切。
对于计算量相同的任务,程序线程并发协调得有条不紊,效率自然就会越高;反之,程序之间频繁阻塞甚至死锁,将会大大降低程序的并发能力。
服务端,Java最擅长的领域之一。
硬件的效率与一致性
大多数运算中,处理器都要和内存进行交互,如读取数据、存储结果等。由于计算机存储设备和处理器运算速度有几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高缓存Cache来作为内存与处理器之间的缓冲:将运算需要使用的数据复制到缓存中,让运算能快速进行,当运算结束后再从缓存中同步回内存,这样处理器就无须等待缓慢的内存读写了。
以上为计算机系统带来了更高的复杂度,因为引入了缓存的一致性Cache Coherence的问题。在多处理器系统中,每个处理器都有自己的高速缓存,又共享同一主内存,可能导致各自的缓存数据不一致。需要各处理器访问缓存时遵循一些协议,在读写时根据协议来操作,如MSI,MESI,MOSI,Snapse,Firefly,dRAGON Protocol等。
内存模型,在特定的操作协议下对特定的内存或高速缓存进行读写访问的过程抽象。
处理器还可能会对输入的代码进行乱序执行优化,之后又将乱序结果重组,保证该结果与顺序执行结果一致,还有指令重排序优化。
Java内存模型
JMM,Java Memory Model,用来屏蔽掉各种硬件和操作系统之间的内存访问差异,以实现让Java程序在各平台下都能达到一致的内存访问效果。JDK1.5
主内存与工作内存
JMM主要目标:定义程序中各个变量的访问规则,即在虚拟机中将变量存储到内存和从内存取出变量这样的底层细节。
此处变量指实例字段。静态字段和构成数组对象的元素,但不包括局部变量,因为其是线程私有的,不会被共享,也就不会有竞争问题。
JMM规定所有变量均存储在主内存(虚拟机内存的一部分)中。每条线程还有自己的工作内存,类比高速缓存,线程的工作内存中保存了该线程使用到的变量的主内存副本拷贝。线程对变量的所有操作都在工作内存中,不能直接在主内存中读写操作。不同线程之间也不能直接访问对方的工作内存中的变量。只能通过主内存来传递变量值。
主内存直接对应于物理硬件的内存,工作内存优先存储于寄存器和高速缓存,因为程序运行时主要访问读写的是工作内存。
内存间的交互操作
关于主内存与工作内存之间具体的交互协议,即一个变量如何从主内存拷贝到工作内存、如何从工作内存同步回主内存等的细节,Java内存模型定义了8种操作来完成,虚拟机实现时必须保证下面提及的每一种操作都是原子操作。long 和double在store,read,write,load在某些平台上允许有例外。
lock(锁定):作用于主内存的变量,它把一个变量标志为一条线程独占的状态。
unlock(解锁):作用于主内存中的变量,它把一个处于锁定状态的变量释放出来,释放后的变量才可以被其他线程锁定。
read(读取):作用于主内存的变量,它把一个变量的值从主内存传输到线程的工作内存中,以便随后的load动作使用。
load(载入):作用于工作内存的变量,它把read操作从主内存中得到的变量值放入工作内存的变量副本中。
use(使用):作用于工作内存的变量,它把工作内存中一个变量的值传递给执行引擎,每当虚拟机遇到一个需要使用到变量的字节码指令时将执行这个操作。
assign(赋值):作用于工作内存的变量,它把一个从执行引擎接受到的值赋给工作内存的变量,遇到赋值的字节码时执行。
store(存储):作用于工作内存的变量,它把工作内存中一个变量的值传送到主内存中,以便随后的write操作使用。
write(写入):作用于主内存中的变量,它把store操作从主内存中得到的变量值放入主内存的变量中。
以上操作,仅保持顺序执行即可,不用保证连续执行。如 read a read b load a load b。
注意:
①不允许read和load、store和write操作之一单独出现,即不允许一个变量从主内存读取了但工作内存不接受,或者从工作内存发起回写了但主内存不接受的情况。
②不允许一个线程丢弃它的最近assign操作,即变量在工作内存中改变了之后必须把该变化同步回主内存。
③不允许一个线程无原因的(没有发生过任何assign操作)把数据从线程的工作内存同步回主内存中。
④一个新的变量只能在主内存中诞生,不允许在工作内存中直接使用一个未被初始化(load或assign)的变量,就是对一个变量执行use和store之前必须先执行过了assign和load操作。
⑤一个变量在同一个时刻只允许一条线程对其进行lock操作,但lock操作可以被同一条线程重复执行多次,多次执行lock后,只有执行相同次数的unlock操作,变量才会被解锁。
⑥如果对一个变量执行lock操作,将会清空工作内存中此变量的值,在执行引擎使用这个变量前,需要重新执行load或assign操作初始化变量的值。
⑦如果一个变量事先没有被lock操作锁定,则不允许对它执行unlock操作,也不允许去unlock一个被其他线程锁定住的变量。
⑧对一个变量执行unlock操作之前,必须先把此变量同步回主内存中(执行store write)。
以上可以完全确定Java程序中哪些内存访问操作在并发下是安全的。
对于volatile型变量的特殊规则
volatile,Java虚拟机提供的最轻量级的同步机制。
volatile第一可以保证变量对所有线程的可见性,即一条线程修改了变量的值,新值对于其他线程来说是可以立即得知的。普通变量在线程间传递需要经过主内存来完成。
volatile变量在各个线程的工作内存中不存在一致性问题(即时存在,由于每次使用之前都得刷新,执行引擎看不到不一致的情况,所以认为是 不存在一致性问题),但如果运算操作不是原子操作,导致volatile变量的运算在并发下一样是不安全的。依然没法保证volatile同步的正确性。如一个volatile变量,在某线程中值已更新,后续步骤还未开始时,另一些线程迅速更新了该值,使得这个值过期。
由于volatile变量只能保证可见性,在不符合以下两条规则的运算场景中,仍需要加锁*synchronized或java.util.concurrent中的原子类来保证原子性(如果把一个事务可看作是一个程序,它要么完整的被执行,要么完全不执行。这种特性就叫原子性*):
①对变量的写入操作不依赖于该变量的当前值(比如a=0;a=a+1的操作,整个流程为a初始化为0,将a的值在0的基础之上加1,然后赋值给a本身,很明显依赖了当前值),或者确保只有单一线程修改变量。
②该变量不会与其他状态变量纳入不变性条件中。(当变量本身是不可变时,volatile能保证安全访问,比如双重判断的单例模式。但一旦其他状态变量参杂进来的时候,并发情况就无法预知,正确性也无法保障)。
/**
* 基于双重判断的单例模式
*/
public class Singleton {
private volatile static Singleton instance;
public static Singleton getInstance() {
if (instance == null) {
synchronized (Singleton.class) {
if (instance == null) {
instance = new Singleton();
}
}
}
return instance;
}
public static void main(String[] args) {
Singleton.getInstance();
}
}
//volatile修饰的变量在赋值后会多执行一个lock addl..的操作,相当于一个内存屏障(Memory Barrier/Memory Fence ,指重排序时不能把后面的指令重排序到内存屏障之前的位置,也意味着在该操作时,所有之前的指令操作都已经执行完毕),只有一个CPU访问内存时并不需要,但如果有多个CPU访问同一内存,且其中一个在观测另一个,就需要内存屏障来保证一致性。
volatile还有个特性就是,可以禁止指令进行重排序优化。普通变量仅仅会保证在该方法的执行过程中所有依赖赋值结果的地方都能获取到正确的结果,而不能保证变量赋值操作的顺序与程序代码中的执行顺序一致。如下例子:
Map configOptions;
char [] configText;
//此变量必须定义为volatile
volatile boolean initialized = false;
//假设一下代码在线程A中执行,模拟读取配置信息,当读取完成后,将initialized设置为true来通知其他线程配置可使用
configOptions = new HashMap();
configText = readConfigFile(fileName);
processConfigOptions(configText, configOptions);
initialized = true;
//假设以下代码在线程B中执行,等待initialized 为true,代表线程A已经把配置信息初始化完成
while(!initialized ){
sleep();
}
//使用线程A中初始化好的配置信息
doSomethingWithConfig();
如果initialized 没有使用volatile修饰,就可能由于指令重排的优化,导致位于线程A中的最后一句代码“initialized = true”被提前执行,这样在线程B中使用配置信息的代码就可能出现错误。
某些情况下volatile的同步机制比锁要好,但很难量化这种优势。volatile自己和自己比较,它的读操作的性能消耗和普通变量几乎没啥区别,但写操作要慢一些,因为需要在本地代码中插入许多内存屏障指令来保证处理器不发生乱序执行。即便如此,在大多数场景下,volatile总开销仍然比锁要低,根据volatile语义是否满足场景来选择。如果情况不合适,就使用传统的synchronized关键字同步共享变量的访问,用来保证程序正确性(这个关键字的性能会随着jvm不断完善而不断提升,将来性能会慢慢逼近volatile)。
volatile变量V,W,线程T,进行read load use assign store write操作:
①对于T来说,必须保证对V的load和use连续一起出现,即在工作内存中,每次使用V前都必须先从主内存中刷新最新值,用于保证能看到其他线程对V的修改后的值。
②T对V的assign和store必须连续一起出现。即在工作内存中,每次修改V后都必须立刻同步回主内存中,保证其他线程看到自己对V 的修改。
③假定A是T对V的use assign,F是A相关联的load或store;
P是和F相应的对变量V的read或write;
同样,B是T对W的use或assign,G是B相关联的load或store,
Q是G相应的对变量W的read或write。
如果A先于B,那么P先于Q(volatile修饰的变量不会被指令重排序优化,保证代码的执行顺序与程序顺序相同)。
对于long和double变量的特殊规则
内存模型的八个操作都具有原子性。
对于64位的数据类型(long和double),在模型中特别定义了一条宽松的规定:允许虚拟机将没有被volatile修饰的64位数据的读写划分为两次32位的操作来进行,即允许虚拟机不保证64位数据类型的load、store、read和write这四个操作的原子性。虚拟机几乎都选择将64位数据的读写操作作为原子操作来对待,因此在编写代码时一般不需要用到将long和double变量专门声明为volatile。
原子性、可见性与有序性
原子性
由Java内存模型来直接保证的原子性变量操作包括read、load、use、assign、store和write这六个,我们可以大致的认为基本数据类型的访问读写是具备原子性的(long和double除外)。Java代码中的同步块即synchronized关键字,因此在synchronized块之间的操作也具备原子性(lock和unlock未直接开放给用户使用)。内部是通过字节码指令monitorenter和monitorexit来实现。
可见性
就是当一个线程修改了共享变量的值,其他线程能够立即得知这个修改。Java内存模型是通过在变量修改后将新值同步回主内存,在变量读取前从主内存刷新变量值。关键字synchronized和final也能保证可见性。首先同步块是因为对变量执行unlock操作之前,必须先把此变量同步回主内存中。而final关键字的可见性是指:被final修饰的字段在构造器中一旦被初始化完成,并且构造器没有把this指针传递出去,那么在其他线程中就能看见final字段的值。
//如下所示,i,j都具备可见性,无需同步就能被其他线程正确访问
public static final int i;
public final int j;
static{
i=0;
//...
}
{
j=0;
//...
}
有序性
Java程序的天然有序性:在本线程内观察,所有操作都是有序的;在一个线程中观察另外一个线程,所有操作都是无序的。(前半句是指线程内表现为串行的语义,后半句是指令重排序现象和工作内存与主内存同步延迟现象)。
用synchronized和volatile关键字来保证线程操作之间的有序性。volatile本省就包含禁止指令重排序的语义,而synchronized则是因为:一个变量在同一时刻只允许一条线程对齐进行lock操作。这个规则决定了持有同一个锁的两个同步块只能串行的进入。
大部分并发控制操作都能用synchronized来完成。
先行发生原则-内存模型中两操作之间的偏序关系
如果Java内存模型中所有的有序性都只靠volatile和synchronized来完成,那么有一些操作将会变得很繁琐。java内存模型中的一个重点原则——先行发生原则(Happens-Before),使用这个原则作为依据,来指导你判断是否存在线程安全和竞争问题。
以下先行发生关系无须任何同步器协助就已经存在,不在此列,且无法从下面的规则中推导出来,虚拟机可以对它们随意进行重排序:
程序次序规则:在线程内,按照程序代码顺序,书写在前面的操作先行发生于书写在后面的操作。如果A操作在B操作之前(比如A代码在B代码上面,或者由A程序调用B程序),那么在这个线程中,A操作将在B操作之前执行。
管理锁定规则:一个unlock操作先于后面(时间上的先后顺序)对同一个锁的lock操作。
volatile变量规则:对一个volatile变量的写操作必须在后面(时间上的先后顺序)对该变量的读操作之前发生。
线程启动规则:线程的Thread.start()必须在该线程所有其他操作之前发生。
线程终止规则:线程中所有操作都先行发生于该线程的终止检测。可以通过Thread.join()方法结束、Thread.isAlive()的返回值判断线程是否终止。
线程中断规则:对线程interrupt()方法的调用必须在被中断线程的代码检测到interrupt事件发生之前执行。可以通过Thread.interrupted()方法检测到是否发生中断;
对象终结规则:对象的初始化(构造函数的调用)必须在该对象的finalize()方法发生之前完成。
传递性:如果A先行发生于B,B先行发生于C,那么A先行发生于C。
接下来从下面这个例子感受一下“时间上的先后顺序”“与”“先行发生”之间有什么不同。
private int value = 0;
public void setValue(int value){
this.value = value;
}
public int getValue(){
return value;
}
假设存在线程A和B,线程A先调用setValue(1),然后线程B调用了同一个对象的getValue(),那么线程B返回的值是什么?
分析:两个线程调用,不在一个线程中,所以程序次序规则不适用;没有同步块—管程锁定规则不适用;value没有被volatile修饰,所以volatile变量规则不适用;后面的线程启动、终止、中断规则和对象终结规则也扯不上关系,所以尽管在时间上A先于B,但无法确定B中getValue()返回值结果,因此我们说这里的操作时线程不安全的。
如何修复呢?可以为set、get方法定义为synchronized方法,这样可以使用管程锁定规则;或者把value设定为volatile变量,由于set方法对value的修改不依赖value的原值,满足volatile关键字使用场景。
并发安全问题都必须以先行发生原则为准。