一、ConcurrentHashMap的由来
原因可以总结成以下两点:
1、HashMap是非线程安全的,在并发的场景中可能导致死循环
2、hasetable虽然线程安全但效率却很低下
1>线程不安全的HashMap
下面代码取自并发编程艺术一书中,执行该代码会引起死循环
public class HashMapTest {
public static void main(String[] args) throws InterruptedException {
final HashMap<String, String> map = new HashMap<String, String>(2);
Thread t = new Thread(new Runnable() {
@Override
public void run() {
for (int i = 0; i < 10000; i++) {
new Thread(new Runnable() {
@Override
public void run() {
map.put(UUID.randomUUID().toString(), "");
System.out.println(Thread.currentThread().getName());
}
}, "ftf" + i).start();
}
}
}, "ftf");
t.start();
t.join();
}
}
top查看cpu使用率:
2>HashTable的效率低下
HashTable使用内置锁synchronized来保证线程安全,在高并发的场景下,当线程1访问hasetable的同步方法时,此时线程1正在执行put操作,其他线程此时既不能执行put操作也不能执行get操作,只能等待该线程释放锁,再竞争获取锁。
在jdk1.7中ConcurrentHashMap采用锁分段的技术来提升并发的访问效率。简单来说就是给每一段数据配一把锁,当一个线程占用锁访问其中一个段数据的时候,其他段的数据也能被其他线程访问从而提升了并发的访问效率。
二、ConcurrentHashMap的数据结构
ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成,每个HashEntry是一个链表结构。Segment继承了ReentrantLock,因此Segment是一种可重入锁,在ConcurrentHashMap里扮演锁的角色;HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组。Segment的结构和HashMap类似,是一种数组和链表结构。一个Segment里包含一个HashEntry数组,每个HashEntry是一个链表结构的元素,每个Segment守护着一个HashEntry数组里的元素,当对HashEntry数组的数据进行修改时,必须首先获得与它对应的Segment锁
Segment和HashEntry的源码如下:
static final class Segment<K,V> extends ReentrantLock implements Serializable {
transient volatile HashEntry<K,V>[] table;
transient int threshold;
final float loadFactor;
Segment(float lf, int threshold, HashEntry<K,V>[] tab) {
this.loadFactor = lf;
this.threshold = threshold;
this.table = tab;
}
...省略其他的代码...
...只是为了看Segment中维护了HashEntry数组...
static final class HashEntry<K,V> {
final int hash;
final K key;
volatile V value;
volatile HashEntry<K,V> next;
HashEntry(int hash, K key, V value, HashEntry<K,V> next) {
this.hash = hash;
this.key = key;
this.value = value;
this.next = next;
}
...省略其他的代码...
三、ConcurrentHashMap的构造函数
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
//这就不用说了
if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
//最大只能有65535个槽位即最大的并发级别为65535
if (concurrencyLevel > MAX_SEGMENTS)
concurrencyLevel = MAX_SEGMENTS;
// Find power-of-two sizes best matching arguments
int sshift = 0;
int ssize = 1;
//ssize为Segment的大小为2的n次方,为什么是2的n次方,方便位运算,假设并发级别为16,则sshift=4,ssize=16
while (ssize < concurrencyLevel) {
++sshift;
ssize <<= 1;
}
//segmentShift和segmentMask后续会用到用于参与定位hase运算的位数
this.segmentShift = 32 - sshift;
//掩码
this.segmentMask = ssize - 1;
//最大容量为2的30次方
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
//每个槽位可以分多少个容量
int c = initialCapacity / ssize;
//这里就很好理解了比如initialCapacity为65,ssize为16,则c为4,不够存65个的,则每个槽位多存一个就够了
if (c * ssize < initialCapacity)
++c;
//这里为2的原因是向HashEntry中插入第一个元素不会扩容,第二个才会扩容,在工作发现很多只插入一个元素的情形,不至于浪费
int cap = MIN_SEGMENT_TABLE_CAPACITY;
//这里为啥需要这个判断呢,原因是假设每个槽位的的容量为4,那么最小的容量不足以存放所以扩大
while (cap < c)
cap <<= 1;
// create segments and segments[0],创建第一个segments[0]元素
Segment<K,V> s0 =
new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
(HashEntry<K,V>[])new HashEntry[cap]);
//创建大小为ssize的Segment数组
Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
//这里的意思是将segments[0]写入到ss中
UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
//将创建好的Segment数组赋值给全局变量segments
this.segments = ss;
}
initialCapacity:顾名思义初始化容量,表示ConcurrentHashMap的初始化容量也就是HashEntry的数量,默认值为16,最大值为2的30次方
loadFactor:负载因子,默认值为0.75f,当Segment里的HashEntry数组容量超过阈值,这个阈值等于loadFactor * cap,就需要rehash
concurrencyLevel:并发级别,默认值为16,segments数组的长度ssize是通过concurrencyLevel计算得出的,concurrencyLevel的最大值是65535,这意味着segments数组的长度最大为65536。Segment的个数是大于等于concurrencyLevel的第一个2的n次方的数。比如,如果concurrencyLevel为12,13,14,15,16这些数,则Segment的数目为16(2的4次方)
四、put方法分析
public V put(K key, V value) {
Segment<K,V> s;
//不可以存null的值
if (value == null)
throw new NullPointerException();
//计算key的hash值
int hash = hash(key);
//根据hash值找到Segment[]数组中j的位置
int j = (hash >>> segmentShift) & segmentMask;
//ensureSegment(j)对Segment[j]进行初始化,开始的时候只初始化了Segment[0]
if ((s = (Segment<K,V>)UNSAFE.getObject // nonvolatile; recheck
(segments, (j << SSHIFT) + SBASE)) == null) // in ensureSegment
s = ensureSegment(j);
//调用Segment的put方法存放数据
return s.put(key, hash, value, false);
}
这里可以得出两点:
1、ConcurrentHashMap不能存空值
2、根据hase值找到对应的segment进而调用其内部的put方法存放数据
final V put(K key, int hash, V value, boolean onlyIfAbsent) {
//调用ReentrantLock的tryLock()获取锁,获取失败则进入scanAndLockForPut(key, hash, value);
HashEntry<K,V> node = tryLock() ? null :
scanAndLockForPut(key, hash, value);
V oldValue;
try {
HashEntry<K,V>[] tab = table;
//利用hash值找到当前K,V应该存放在HashEntry数组中的什么位置
int index = (tab.length - 1) & hash;
//取链表的头部
HashEntry<K,V> first = entryAt(tab, index);
for (HashEntry<K,V> e = first;;) {//
if (e != null) {
K k;
//如果设置的key和链表中的key重复则覆盖旧值
if ((k = e.key) == key ||
(e.hash == hash && key.equals(k))) {
oldValue = e.value;
if (!onlyIfAbsent) {
e.value = value;
++modCount;
}
break;
}
//这里的作用所有的节点的put修改只能从头部开始,一律添加到Hash链的头部,最终e都会为null然后进入else代码中
e = e.next;
}
else {
//如果node不为null则设置为链表的表头,如果为null则初始化一个node并设置为表头
if (node != null)
node.setNext(first);
else
node = new HashEntry<K,V>(hash, key, value, first);
int c = count + 1;
//如果容量超过了segment的阈值则扩容
if (c > threshold && tab.length < MAXIMUM_CAPACITY)
rehash(node);
else
//这里会又set的操作其实是为了上面的HashEntry<K,V> first = entryAt(tab, index);
//也就是将新的节点设置为链表的头部节点
setEntryAt(tab, index, node);
++modCount;
count = c;
oldValue = null;
break;
}
}
} finally {
unlock();
}
return oldValue;
}
这里先考虑当前线程获取到锁的情况:
1、根据hash值找到数组相应bucket中的第一个链节点
2、遍历数组,如果在节点中能找到key相等的节点,则覆盖旧值;如果没有找到和key相等的节点,并创建一个新的节点,并将该节点作为链头插入当前链
3、如果容量超过阈值(capacity*loadFactor)并且数组长度没有达到最大数组长度则rehash。
private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
//获取链表的头部
HashEntry<K,V> first = entryForHash(this, hash);
HashEntry<K,V> e = first;
HashEntry<K,V> node = null;
int retries = -1; // negative while locating node
//如果获取到了锁则返回null,否则进入循环
while (!tryLock()) {
HashEntry<K,V> f; // to recheck first below
if (retries < 0) {
if (e == null) {
if (node == null) // speculatively create node
node = new HashEntry<K,V>(hash, key, value, null);
retries = 0;
}
else if (key.equals(e.key))
retries = 0;
//如果当前线程尝试了很多次没有获取到锁,这里的e值可能为null也可能不为空
//如果走到这里并且e.next不为空这个时候tryLock()刚好获取到锁,则node为null返回
//如果走到这里并且e.next为空这个时候tryLock()没有获取到锁,下一次循环则会构建一个新的node节点
else
e = e.next;
}
//MAX_SCAN_RETRIES:单核是1,多核是64,如果尝试的次数大于MAX_SCAN_RETRIES,则调用lock()方法阻塞,使当前线程进入同步队列中等待被唤醒
else if (++retries > MAX_SCAN_RETRIES) {
lock();
break;
}
//如果这里条件成立则说明该链表的表头更新了,这个时候将设置为-1并且这个时候也更新了尝试获取锁的次数,循环又重新开始了
else if ((retries & 1) == 0 &&
(f = entryForHash(this, hash)) != first) {
e = first = f; // re-traverse if entry changed
retries = -1;
}
}
return node;
}
这里可以总结为:
1、调用ReentrantLock的tryLock()获取到锁,循环结束
2、始终没有获取到锁,调用阻塞方法进入同步队列中等待被唤醒再次尝试获取锁
3、node的是否被实列化是获取锁的顺序以及一堆条件判断相结合的结果
private void rehash(HashEntry<K,V> node) {
HashEntry<K,V>[] oldTable = table;
//旧链表的长度
int oldCapacity = oldTable.length;
//新链表的容量*2
int newCapacity = oldCapacity << 1;
//Segment新的阈值
threshold = (int)(newCapacity * loadFactor);
//初始化新的链表
HashEntry<K,V>[] newTable =
(HashEntry<K,V>[]) new HashEntry[newCapacity];
//掩码
int sizeMask = newCapacity - 1;
for (int i = 0; i < oldCapacity ; i++) {
HashEntry<K,V> e = oldTable[i];
if (e != null) {
HashEntry<K,V> next = e.next;
//计算旧表中的数据在新表中存放的位置
int idx = e.hash & sizeMask;
if (next == null) // 这里成立的话,说明原先的旧表中只有一个节点
newTable[idx] = e;
else { // Reuse consecutive sequence at same slot
HashEntry<K,V> lastRun = e;
int lastIdx = idx;
//直到last.next==null的时候退出循环:找到链表中最后的一个元素
for (HashEntry<K,V> last = next;
last != null;
last = last.next) {
int k = last.hash & sizeMask;
if (k != lastIdx) {
lastIdx = k;
lastRun = last;
}
}
//将旧表中的最后一个元素存放到新表中
newTable[lastIdx] = lastRun;
// Clone remaining nodes,复制旧表中剩余的节点,去除旧表中的最后一个节点
for (HashEntry<K,V> p = e; p != lastRun; p = p.next) {
V v = p.value;
int h = p.hash;
int k = h & sizeMask;
HashEntry<K,V> n = newTable[k];
newTable[k] = new HashEntry<K,V>(h, p.key, v, n);
}
}
}
}
//将新设置的的k,v对应的node存放到链表的表头
int nodeIndex = node.hash & sizeMask; // add the new node
node.setNext(newTable[nodeIndex]);
newTable[nodeIndex] = node;
table = newTable;
}
简单来说:就是将 segment 数组中某个位置内部的HashEntry数组进行扩容2倍
五、get方法分析
public V get(Object key) {
Segment<K,V> s; // manually integrate access methods to reduce overhead
HashEntry<K,V>[] tab;
//计算key的hash值
int h = hash(key);
long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
//通过hash值找到对应的Segment,遍历查找到链表中对应key或者hash值则返回value值即可
if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
(tab = s.table) != null) {
for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
(tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
e != null; e = e.next) {
K k;
if ((k = e.key) == key || (e.hash == h && key.equals(k)))
return e.value;
}
}
return null;
}
根据hash值找到对应的segement,然后找到segment对应的table中的具体位置HaseEntry链表,顺着链表遍历查找就ok了。
六、remove方法分析
public V remove(Object key) {
int hash = hash(key);
Segment<K,V> s = segmentForHash(hash);
return s == null ? null : s.remove(key, hash, null);
}
final V remove(Object key, int hash, Object value) {
//这里if语句块的代码就不赘述了
if (!tryLock())
scanAndLock(key, hash);
V oldValue = null;
try {
//当前segment所维护的链表
HashEntry<K,V>[] tab = table;
//确定key的hash值所在链表的索引位置
int index = (tab.length - 1) & hash;
//获取链表的链头节点
HashEntry<K,V> e = entryAt(tab, index);
//pred用来记录待删除节点的前一个节点
HashEntry<K,V> pred = null;
while (e != null) {
K k;
HashEntry<K,V> next = e.next;
//当找到了待删除节点
if ((k = e.key) == key ||
(e.hash == hash && key.equals(k))) {
V v = e.value;
if (value == null || value == v || value.equals(v)) {
//如果待删除节点的前节点为null,即待删除节点是链头节点,此时把头节点的next节点设置到头节点的位置
if (pred == null)
setEntryAt(tab, index, next);
//如果有前节点,则待删除节点的前节点的next指向待删除节点的的下一个节点,删除成功
else
pred.setNext(next);
++modCount;
--count;
oldValue = v;
}
break;
}
pred = e;
e = next;
}
} finally {
unlock();
}
return oldValue;
}
remove方法可以归纳为两点:
1、待删除节点是头结点,此时把头节点的next节点设置到头节点的位置,删除成功
2、待删除的节点不是头结点,则待删除节点的前节点的next指向待删除节点的的下一个节点,删除成功
到此jdk1.7的ConcurrentHashMap的主要内容已经分析完毕,下篇将会介绍JDK1.8关于ConcurrentHashMap的源码分析。
参考文章:
Doug Lea:《Java并发编程实战》
方腾飞、魏鹏、程晓明:《并发编程的艺术》