基于LinkedHashMap实现LRU缓存调度算法原理

时间:2022-03-26 16:48:03

引言

本文就 《基于LinkedHashMap实现LRU缓存调度算法原理及应用 》一文作为材料,记录一些常见问题,备忘。


延伸出两道常见的Java面试题:

  1. 插入Entry节点到table表的链表中时,Hashmap 和LinkedHashmap使用头茶法还是尾茶法?遍历map的时候,Entry.Entryset()获取的set集合,是按照从头到尾还是从尾到头的顺序存储的?
  2. 实现LRU算法最合适的数据结构?

如果读者可以打出来,不用继续看下边的资料了。初学者请继续阅读。相信你读完之后可以找到问题的答案。

LinkedHashMap基础

LinkedHashMap继承了HashMap底层是通过Hash表+单向链表实现Hash算法,内部自己维护了一套元素访问顺序的列表。 

Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1. /** 
  2.   * The head of the doubly linked list. 
  3.   */  
  4.  private transient Entry<K,V> header;  
  5.  .....  
  6. /** 
  7.   * LinkedHashMap entry. 
  8.   */  
  9.  private static class Entry<K,V> extends HashMap.Entry<K,V> {  
  10.      // These fields comprise the doubly linked list used for iteration.  
  11.      Entry<K,V> before, after;  


HashMap构造函数中回调了子类的init方法实现对元素初始化 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1. void init() {  
  2.     header = new Entry<K,V>(-1nullnullnull);  
  3.     header.before = header.after = header;  
  4. }  


LinkedHashMap中有一个属性可以执行列表元素的排序算法 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1. /** 
  2.   * The iteration ordering method for this linked hash map: <tt>true</tt> 
  3.   * for access-order, <tt>false</tt> for insertion-order. 
  4.   * 
  5.   * @serial 
  6.   */  
  7.  private final boolean accessOrder;  

accessOrder为true使用访问顺序排序,false使用插入顺序排序那么在哪里可以设置这个值。 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1. /** 
  2.   * Constructs an empty <tt>LinkedHashMap</tt> instance with the 
  3.   * specified initial capacity, load factor and ordering mode. 
  4.   * 
  5.   * @param  initialCapacity the initial capacity. 
  6.   * @param  loadFactor      the load factor. 
  7.   * @param  accessOrder     the ordering mode - <tt>true</tt> for 
  8.   *         access-order, <tt>false</tt> for insertion-order. 
  9.   * @throws IllegalArgumentException if the initial capacity is negative 
  10.   *         or the load factor is nonpositive. 
  11.   */  
  12.  public LinkedHashMap(int initialCapacity,  
  13.  float loadFactor,  
  14.                       boolean accessOrder) {  
  15.      super(initialCapacity, loadFactor);  
  16.      this.accessOrder = accessOrder;  
  17.  }  


LRU算法

使用有访问顺序排序方式实现LRU,那么哪里LinkedHashMap是如何实现LRU的呢? 

Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1.    //LinkedHashMap方法  
  2.    public V get(Object key) {  
  3.        Entry<K,V> e = (Entry<K,V>)getEntry(key);  
  4.        if (e == null)  
  5.            return null;  
  6.        e.recordAccess(this);  
  7.        return e.value;  
  8.    }  
  9.    //HashMap方法  
  10.    public V put(K key, V value) {  
  11. if (key == null)  
  12.     return putForNullKey(value);  
  13.        int hash = hash(key.hashCode());  
  14.        int i = indexFor(hash, table.length);  
  15.        for (Entry<K,V> e = table[i]; e != null; e = e.next) {  
  16.            Object k;  
  17.            if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {  
  18.                V oldValue = e.value;  
  19.                e.value = value;  
  20.                e.recordAccess(this);  
  21.                return oldValue;  
  22.            }  
  23.        }  
  24.   
  25.        modCount++;  
  26.        addEntry(hash, key, value, i);  
  27.        return null;  
  28.    }  


当调用get或者put方法的时候,如果K-V已经存在,会回调Entry.recordAccess()方法 
我们再看一下LinkedHashMap的Entry实现 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1. /** 
  2.   * This method is invoked by the superclass whenever the value 
  3.   * of a pre-existing entry is read by Map.get or modified by Map.set. 
  4.   * If the enclosing Map is access-ordered, it moves the entry 
  5.   * to the end of the list; otherwise, it does nothing.  
  6.   */  
  7.  void recordAccess(HashMap<K,V> m) {  
  8.      LinkedHashMap<K,V> lm = (LinkedHashMap<K,V>)m;  
  9.      if (lm.accessOrder) {  
  10.          lm.modCount++;  
  11.          remove();  
  12.          addBefore(lm.header);  
  13.      }  
  14.  }  
  15.   
  16.  /** 
  17.   * Remove this entry from the linked list. 
  18.   */  
  19.  private void remove() {  
  20.      before.after = after;  
  21.      after.before = before;  
  22.  }  
  23.   
  24.  /**                                              
  25.   * Insert this entry before the specified existing entry in the list. 
  26.   */  
  27.  private void addBefore(Entry<K,V> existingEntry) {  
  28.      after  = existingEntry;  
  29.      before = existingEntry.before;  
  30.      before.after = this;  
  31.      after.before = this;  
  32.  }  

recordAccess方法会accessOrder为true会先调用remove清楚的当前首尾元素的指向关系,之后调用addBefore方法,将当前元素加入header之前。 

当有新元素加入Map的时候会调用Entry的addEntry方法,会调用removeEldestEntry方法,这里就是实现LRU元素过期机制的地方,默认的情况下removeEldestEntry方法只返回false表示元素永远不过期。 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理
  1.   /** 
  2.     * This override alters behavior of superclass put method. It causes newly 
  3.     * allocated entry to get inserted at the end of the linked list and 
  4.     * removes the eldest entry if appropriate. 
  5.     */  
  6.    void addEntry(int hash, K key, V value, int bucketIndex) {  
  7.        createEntry(hash, key, value, bucketIndex);  
  8.   
  9.        // Remove eldest entry if instructed, else grow capacity if appropriate  
  10.        Entry<K,V> eldest = header.after;  
  11.        if (removeEldestEntry(eldest)) {  
  12.            removeEntryForKey(eldest.key);  
  13.        } else {  
  14.            if (size >= threshold)   
  15.                resize(2 * table.length);  
  16.        }  
  17.    }  
  18.   
  19.    /** 
  20.     * This override differs from addEntry in that it doesn't resize the 
  21.     * table or remove the eldest entry. 
  22.     */  
  23.    void createEntry(int hash, K key, V value, int bucketIndex) {  
  24.        HashMap.Entry<K,V> old = table[bucketIndex];  
  25. Entry<K,V> e = new Entry<K,V>(hash, key, value, old);  
  26.        table[bucketIndex] = e;  
  27.        e.addBefore(header);  
  28.        size++;  
  29.    }  
  30.   
  31.    protected boolean removeEldestEntry(Map.Entry<K,V> eldest) {  
  32.        return false;  
  33.    }  


基本的原理已经介绍完了,那基于LinkedHashMap我们看一下是该如何实现呢? 
Java代码   基于LinkedHashMap实现LRU缓存调度算法原理

import java.util.LinkedHashMap;


public class URLLinkedListHashMap<K, V> extends LinkedHashMap<K, V> {

	/**
	 * 
	 */
	private static final long serialVersionUID = 1L;

	/** 最大数据存储容量 */  
    private static final int  LRU_MAX_CAPACITY     = 1024;  

    /** 存储数据容量  */  
    private int               capacity;  

    /** 
     * 默认构造方法 
     */  
    public URLLinkedListHashMap() {  
        super();  
    }  

    /** 
     * 带参数构造方法 
     * @param initialCapacity   容量 
     * @param loadFactor        装载因子 
     * @param isLRU             是否使用lru算法,true:使用(按方案顺序排序);false:不使用(按存储顺序排序) 
     */  
    public URLLinkedListHashMap(int initialCapacity, float loadFactor, boolean isLRU) {  
        super(initialCapacity, loadFactor, isLRU);  
        capacity = LRU_MAX_CAPACITY;  
    }  
    
    public URLLinkedListHashMap(int initialCapacity, float loadFactor, boolean isLRU,int lruCapacity) {  
        super(initialCapacity, loadFactor, isLRU);  
        this.capacity = lruCapacity;  
    } 
    
    @Override
    protected boolean removeEldestEntry(java.util.Map.Entry<K, V> eldest) {
    	// TODO Auto-generated method stub
    	return super.removeEldestEntry(eldest);
    }

}


测试代码: 

Java代码   基于LinkedHashMap实现LRU缓存调度算法原理

import java.util.LinkedHashMap;
import java.util.Map.Entry;


public class LRUTest {

    public static void main(String[] args) {

        LinkedHashMap<String, String> map = new URLLinkedListHashMap(16, 0.75f, false);
        map.put("a", "a"); //a  a
        map.put("b", "b"); //a  a b
        map.put("c", "c"); //a  a b c
        map.put("a", "a"); //   b c a     
        map.put("d", "d"); //b  b c a d
        map.put("a", "a"); //   b c d a
        map.put("b", "b"); //   c d a b     
        map.put("f", "f"); //c  c d a b f
        map.put("g", "g"); //c  c d a b f g

        
        map.get("d"); //c a b f g d
        for (Entry<String, String> entry : map.entrySet()) {
            System.out.print(entry.getValue() + ", ");
        }
        
        System.out.println();

        map.get("a"); //c b f g d a
        for (Entry<String, String> entry : map.entrySet()) {
            System.out.print(entry.getValue() + ", ");
        }
        System.out.println();

        map.get("c"); //b f g d a c
        for (Entry<String, String> entry : map.entrySet()) {
            System.out.print(entry.getValue() + ", ");
        }
        System.out.println();

        map.get("b"); //f g d a c b
        for (Entry<String, String> entry : map.entrySet()) {
            System.out.print(entry.getValue() + ", ");
        }
        System.out.println();

        map.put("h", "h"); //f  f g d a c b h
        for (Entry<String, String> entry : map.entrySet()) {
            System.out.print(entry.getValue() + ", ");
        }
        System.out.println();
    }


}


答案:

  1. 插入Entry节点到table表的链表中时,Hashmap 和LinkedHashmap使用头茶法。遍历map的时候,Entry.Entryset()获取的set集合,是按照从尾到头的顺序存储的,采用FIFO原理打印。
  2. 实现LRU算法最合适的数据结构是LinkedHashmap



部分转自: http://woming66.iteye.com/blog/1284326