JDK7源码分析ConcurrentHashMap

时间:2021-07-04 19:15:50

一、ConcurrentHashMap的由来


原因可以总结成以下两点:

1、HashMap是非线程安全的,在并发的场景中可能导致死循环

2、hasetable虽然线程安全但效率却很低下


1>线程不安全的HashMap

下面代码取自并发编程艺术一书中,执行该代码会引起死循环

public class HashMapTest {

   public static void main(String[] args) throws InterruptedException {
       final HashMap<String, String> map = new HashMap<String, String>(2);
       Thread t = new Thread(new Runnable() {
           @Override
           public void run() {
               for (int i = 0; i < 10000; i++) {
                   new Thread(new Runnable() {
                        @Override
                       public void run() {
                           map.put(UUID.randomUUID().toString(), "");
                            System.out.println(Thread.currentThread().getName());
                       }
                   }, "ftf" + i).start();
               }
           }
       }, "ftf");
       t.start();
       t.join();
   }
}

top查看cpu使用率:

JDK7源码分析ConcurrentHashMap


2>HashTable的效率低下

HashTable使用内置锁synchronized来保证线程安全,在高并发的场景下,当线程1访问hasetable的同步方法时,此时线程1正在执行put操作,其他线程此时既不能执行put操作也不能执行get操作,只能等待该线程释放锁,再竞争获取锁。


在jdk1.7中ConcurrentHashMap采用锁分段的技术来提升并发的访问效率。简单来说就是给每一段数据配一把锁,当一个线程占用锁访问其中一个段数据的时候,其他段的数据也能被其他线程访问从而提升了并发的访问效率。


二、ConcurrentHashMap的数据结构

JDK7源码分析ConcurrentHashMap

ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成,每个HashEntry是一个链表结构。Segment继承了ReentrantLock,因此Segment是一种可重入锁,在ConcurrentHashMap里扮演锁的角色;HashEntry则用于存储键值对数据。一个ConcurrentHashMap里包含一个Segment数组。Segment的结构和HashMap类似,是一种数组和链表结构。一个Segment里包含一个HashEntry数组,每个HashEntry是一个链表结构的元素,每个Segment守护着一个HashEntry数组里的元素,当对HashEntry数组的数据进行修改时,必须首先获得与它对应的Segment锁


Segment和HashEntry的源码如下:

static final class Segment<K,V> extends ReentrantLock implements Serializable {

   transient volatile HashEntry<K,V>[] table;

   transient int threshold;

   final float loadFactor;

   Segment(float lf, int threshold, HashEntry<K,V>[] tab) {
       this.loadFactor = lf;
       this.threshold = threshold;
       this.table = tab;
   }
   ...省略其他的代码...
   ...只是为了看Segment中维护了HashEntry数组...


static final class HashEntry<K,V> {
    final int hash;
    final K key;
    volatile V value;
    volatile HashEntry<K,V> next;

    HashEntry(int hash, K key, V value, HashEntry<K,V> next) {
        this.hash = hash;
        this.key = key;
        this.value = value;
        this.next = next;
    }
    ...省略其他的代码...


三、ConcurrentHashMap的构造函数

public ConcurrentHashMap(int initialCapacity,
                         float loadFactor, int concurrencyLevel)
{
    //这就不用说了
    if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
        throw new IllegalArgumentException();
    //最大只能有65535个槽位即最大的并发级别为65535
    if (concurrencyLevel > MAX_SEGMENTS)
        concurrencyLevel = MAX_SEGMENTS;
    // Find power-of-two sizes best matching arguments
    int sshift = 0;
    int ssize = 1;
    //ssize为Segment的大小为2的n次方,为什么是2的n次方,方便位运算,假设并发级别为16,则sshift=4,ssize=16
    while (ssize < concurrencyLevel) {
        ++sshift;
        ssize <<= 1;
    }
    //segmentShift和segmentMask后续会用到用于参与定位hase运算的位数
    this.segmentShift = 32 - sshift;
    //掩码
    this.segmentMask = ssize - 1;
    //最大容量为2的30次方
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    //每个槽位可以分多少个容量
    int c = initialCapacity / ssize;
    //这里就很好理解了比如initialCapacity为65,ssize为16,则c为4,不够存65个的,则每个槽位多存一个就够了
    if (c * ssize < initialCapacity)
        ++c;
    //这里为2的原因是向HashEntry中插入第一个元素不会扩容,第二个才会扩容,在工作发现很多只插入一个元素的情形,不至于浪费
    int cap = MIN_SEGMENT_TABLE_CAPACITY;
    //这里为啥需要这个判断呢,原因是假设每个槽位的的容量为4,那么最小的容量不足以存放所以扩大
    while (cap < c)
        cap <<= 1;
    // create segments and segments[0],创建第一个segments[0]元素
    Segment<K,V> s0 =
        new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
                         (HashEntry<K,V>[])new HashEntry[cap]);
    //创建大小为ssize的Segment数组
    Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
    //这里的意思是将segments[0]写入到ss中
    UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
    //将创建好的Segment数组赋值给全局变量segments
    this.segments = ss;
}


initialCapacity:顾名思义初始化容量,表示ConcurrentHashMap的初始化容量也就是HashEntry的数量,默认值为16,最大值为2的30次方


loadFactor:负载因子,默认值为0.75f,当Segment里的HashEntry数组容量超过阈值,这个阈值等于loadFactor * cap,就需要rehash


concurrencyLevel:并发级别,默认值为16,segments数组的长度ssize是通过concurrencyLevel计算得出的,concurrencyLevel的最大值是65535,这意味着segments数组的长度最大为65536。Segment的个数是大于等于concurrencyLevel的第一个2的n次方的数。比如,如果concurrencyLevel为12,13,14,15,16这些数,则Segment的数目为16(2的4次方)


四、put方法分析

public V put(K key, V value) {
   Segment<K,V> s;
   //不可以存null的值
   if (value == null)
       throw new NullPointerException();
   //计算key的hash值
   int hash = hash(key);
   //根据hash值找到Segment[]数组中j的位置
   int j = (hash >>> segmentShift) & segmentMask;
   //ensureSegment(j)对Segment[j]进行初始化,开始的时候只初始化了Segment[0]
   if ((s = (Segment<K,V>)UNSAFE.getObject          // nonvolatile; recheck
        (segments, (j << SSHIFT) + SBASE)) == null) //  in ensureSegment
       s = ensureSegment(j);
   //调用Segment的put方法存放数据
   return s.put(key, hash, value, false);
}

这里可以得出两点:

1、ConcurrentHashMap不能存空值

2、根据hase值找到对应的segment进而调用其内部的put方法存放数据

final V put(K key, int hash, V value, boolean onlyIfAbsent) {
   //调用ReentrantLock的tryLock()获取锁,获取失败则进入scanAndLockForPut(key, hash, value);
   HashEntry<K,V> node = tryLock() ? null :
       scanAndLockForPut(key, hash, value);
   V oldValue;
   try {
       HashEntry<K,V>[] tab = table;
       //利用hash值找到当前K,V应该存放在HashEntry数组中的什么位置
       int index = (tab.length - 1) & hash;
       //取链表的头部
       HashEntry<K,V> first = entryAt(tab, index);
       for (HashEntry<K,V> e = first;;) {//
           if (e != null) {
               K k;
               //如果设置的key和链表中的key重复则覆盖旧值
               if ((k = e.key) == key ||
                   (e.hash == hash && key.equals(k))) {
                   oldValue = e.value;
                   if (!onlyIfAbsent) {
                       e.value = value;
                       ++modCount;
                   }
                   break;
               }
               //这里的作用所有的节点的put修改只能从头部开始,一律添加到Hash链的头部,最终e都会为null然后进入else代码中
               e = e.next;
           }
           else {
              //如果node不为null则设置为链表的表头,如果为null则初始化一个node并设置为表头
               if (node != null)
                   node.setNext(first);
               else
                   node = new HashEntry<K,V>(hash, key, value, first);
               int c = count + 1;
               //如果容量超过了segment的阈值则扩容
               if (c > threshold && tab.length < MAXIMUM_CAPACITY)
                   rehash(node);
               else
                   //这里会又set的操作其实是为了上面的HashEntry<K,V> first = entryAt(tab, index);
                   //也就是将新的节点设置为链表的头部节点
                   setEntryAt(tab, index, node);
               ++modCount;
               count = c;
               oldValue = null;
               break;
           }
       }
   } finally {
       unlock();
   }
   return oldValue;
}

这里先考虑当前线程获取到锁的情况:

1、根据hash值找到数组相应bucket中的第一个链节点

2、遍历数组,如果在节点中能找到key相等的节点,则覆盖旧值;如果没有找到和key相等的节点,并创建一个新的节点,并将该节点作为链头插入当前链

3、如果容量超过阈值(capacity*loadFactor)并且数组长度没有达到最大数组长度则rehash。

private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
   //获取链表的头部
   HashEntry<K,V> first = entryForHash(this, hash);
   HashEntry<K,V> e = first;
   HashEntry<K,V> node = null;
   int retries = -1; // negative while locating node
   //如果获取到了锁则返回null,否则进入循环
   while (!tryLock()) {
       HashEntry<K,V> f; // to recheck first below
       if (retries < 0) {
           if (e == null) {
               if (node == null) // speculatively create node
                   node = new HashEntry<K,V>(hash, key, value, null);
               retries = 0;
           }
           else if (key.equals(e.key))
               retries = 0;
           //如果当前线程尝试了很多次没有获取到锁,这里的e值可能为null也可能不为空
           //如果走到这里并且e.next不为空这个时候tryLock()刚好获取到锁,则node为null返回
           //如果走到这里并且e.next为空这个时候tryLock()没有获取到锁,下一次循环则会构建一个新的node节点
           else
               e = e.next;
       }
       //MAX_SCAN_RETRIES:单核是1,多核是64,如果尝试的次数大于MAX_SCAN_RETRIES,则调用lock()方法阻塞,使当前线程进入同步队列中等待被唤醒
       else if (++retries > MAX_SCAN_RETRIES) {
           lock();
           break;
       }
       //如果这里条件成立则说明该链表的表头更新了,这个时候将设置为-1并且这个时候也更新了尝试获取锁的次数,循环又重新开始了
       else if ((retries & 1) == 0 &&
                (f = entryForHash(this, hash)) != first) {
           e = first = f; // re-traverse if entry changed
           retries = -1;
       }
   }
   return node;
}

这里可以总结为:

1、调用ReentrantLock的tryLock()获取到锁,循环结束

2、始终没有获取到锁,调用阻塞方法进入同步队列中等待被唤醒再次尝试获取锁

3、node的是否被实列化是获取锁的顺序以及一堆条件判断相结合的结果

private void rehash(HashEntry<K,V> node) {

    HashEntry<K,V>[] oldTable = table;
    //旧链表的长度
    int oldCapacity = oldTable.length;
    //新链表的容量*2
    int newCapacity = oldCapacity << 1;
    //Segment新的阈值
    threshold = (int)(newCapacity * loadFactor);
    //初始化新的链表
    HashEntry<K,V>[] newTable =
        (HashEntry<K,V>[]) new HashEntry[newCapacity];
    //掩码
    int sizeMask = newCapacity - 1;
    for (int i = 0; i < oldCapacity ; i++) {
        HashEntry<K,V> e = oldTable[i];
        if (e != null) {
            HashEntry<K,V> next = e.next;
            //计算旧表中的数据在新表中存放的位置
            int idx = e.hash & sizeMask;
            if (next == null)   //  这里成立的话,说明原先的旧表中只有一个节点
                newTable[idx] = e;
            else { // Reuse consecutive sequence at same slot
                HashEntry<K,V> lastRun = e;
                int lastIdx = idx;
                //直到last.next==null的时候退出循环:找到链表中最后的一个元素
                for (HashEntry<K,V> last = next;
                     last != null;
                     last = last.next) {
                    int k = last.hash & sizeMask;
                    if (k != lastIdx) {
                        lastIdx = k;
                        lastRun = last;
                    }
                }
                //将旧表中的最后一个元素存放到新表中
                newTable[lastIdx] = lastRun;
                // Clone remaining nodes,复制旧表中剩余的节点,去除旧表中的最后一个节点
                for (HashEntry<K,V> p = e; p != lastRun; p = p.next) {
                    V v = p.value;
                    int h = p.hash;
                    int k = h & sizeMask;
                    HashEntry<K,V> n = newTable[k];
                    newTable[k] = new HashEntry<K,V>(h, p.key, v, n);
                }
            }
        }
    }
    //将新设置的的k,v对应的node存放到链表的表头
    int nodeIndex = node.hash & sizeMask; // add the new node
    node.setNext(newTable[nodeIndex]);
    newTable[nodeIndex] = node;
    table = newTable;
}

简单来说:就是将 segment 数组中某个位置内部的HashEntry数组进行扩容2倍


五、get方法分析

public V get(Object key) {
    Segment<K,V> s; // manually integrate access methods to reduce overhead
    HashEntry<K,V>[] tab;
    //计算key的hash值
    int h = hash(key);
    long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
    //通过hash值找到对应的Segment,遍历查找到链表中对应key或者hash值则返回value值即可
    if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
        (tab = s.table) != null) {
        for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
                 (tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
             e != null; e = e.next) {
            K k;
            if ((k = e.key) == key || (e.hash == h && key.equals(k)))
                return e.value;
        }
    }
    return null;
}

根据hash值找到对应的segement,然后找到segment对应的table中的具体位置HaseEntry链表,顺着链表遍历查找就ok了。


六、remove方法分析

public V remove(Object key) {
        int hash = hash(key);
        Segment<K,V> s = segmentForHash(hash);
        return s == null ? null : s.remove(key, hash, null);
}

 

final V remove(Object key, int hash, Object value) {
    //这里if语句块的代码就不赘述了
    if (!tryLock())
        scanAndLock(key, hash);
    V oldValue = null;
    try {
        //当前segment所维护的链表
        HashEntry<K,V>[] tab = table;
        //确定key的hash值所在链表的索引位置
        int index = (tab.length - 1) & hash;
        //获取链表的链头节点
        HashEntry<K,V> e = entryAt(tab, index);
        //pred用来记录待删除节点的前一个节点
        HashEntry<K,V> pred = null;
        while (e != null) {
            K k;
            HashEntry<K,V> next = e.next;
            //当找到了待删除节点
            if ((k = e.key) == key ||
                (e.hash == hash && key.equals(k))) {
                V v = e.value;
                if (value == null || value == v || value.equals(v)) {
                    //如果待删除节点的前节点为null,即待删除节点是链头节点,此时把头节点的next节点设置到头节点的位置
                    if (pred == null)
                        setEntryAt(tab, index, next);
                    //如果有前节点,则待删除节点的前节点的next指向待删除节点的的下一个节点,删除成功
                    else
                        pred.setNext(next);
                    ++modCount;
                    --count;
                    oldValue = v;
                }
                break;
            }
            pred = e;
            e = next;
        }
    } finally {
        unlock();
    }
    return oldValue;
}

remove方法可以归纳为两点:

1、待删除节点是头结点,此时把头节点的next节点设置到头节点的位置,删除成功

2、待删除的节点不是头结点,则待删除节点的前节点的next指向待删除节点的的下一个节点,删除成功


到此jdk1.7的ConcurrentHashMap的主要内容已经分析完毕,下篇将会介绍JDK1.8关于ConcurrentHashMap的源码分析。


参考文章:

Doug Lea:《Java并发编程实战》

方腾飞、魏鹏、程晓明:《并发编程的艺术》