（转）HashMap、Hashtable、ConcurrentHashMap面试总结
原文链接：https://www.cnblogs.com/hexinwei1/p/10000779.html
一、小总结
HashMap、Hashtable、ConcurrentHashMap
HashMap：线程不安全
Hashtable：线程安全，每个方法都加了synchronized修饰。类似Collections.synchronizedMap(hashMap)
对读写加锁，独占式，一个线程在读的时候其他线程必须等待，吞吐量较低，性能较为底下
ConcurrentHashMap：利用CAS+Synchronized来保证并发的安全性。数据结构类同HashMap
ConcurrentHashMap如何实现线程安全？
（1）get()方法使用tabAt(Node[], int)方法
调用Unsafe的native方法getObjectVolatile(Object obj, long offset)；
// 获取obj对象中offset便宜地址对饮的object性field的值，支持volatileload语义，即：让缓存中的数据失效，重新从主内存加载数据
（2）put()方法
需要获取数组上的Node时同时使用tabAt()方法
设置数组上Node是使用casTabAt()方法，casTabAt()调用Unsafe的native方法compareAndSwapObject()，CAS操作
哈希冲突之后，需要操作改hash值对应的链表/红黑树，此时synchronized（该链表第一个Node）保证线程安全的基础上，减小了锁的粒度
线程安全的容器只能保证自身的数据不被破坏，但无法保证业务的行为是否正确
public static void demo1(){ final Map<String, Integer> count = new ConcurrentHashMap<>(); final CountDownLatch endLatch = new CountDownLatch(2); Runnable task = new Runnable() { @Override public void run() { for (int i = 0; i < 5; i++) { Integer value = count.get("a"); if (null == value) { count.put("a", 1); } else { count.put("a", value + 1); } } endLatch.countDown(); } }; new Thread(task).start(); new Thread(task).start(); try { endLatch.await(); System.out.println(count); } catch (Exception e) { e.printStackTrace(); } }
demo1是两个线程操作ConcurrentHashMap，意图将value变为10。但是，因为多个线程用相同的key调用时，很可能会覆盖相互的结果，造成记录的次数比实际出现的次数少
可以使用锁解决这个问题，也可以使用ConcurrentHashMap定义的方法：
V putIfAbsent(K key, V value) 如果key对应的value不存在，则put进去，返回null。否则不put，返回已存在的value。 boolean remove(Object key, Object value) 如果key对应的值是value，则移除K-V，返回true。否则不移除，返回false。 boolean replace(K key, V oldValue, V newValue) 如果key对应的当前值是oldValue，则替换为newValue，返回true。否则不替换，返回false。
修改：
public static void demo1() { final Map<String, Integer> count = new ConcurrentHashMap<>(); final CountDownLatch endLatch = new CountDownLatch(2); Runnable task = new Runnable() { @Override public void run() { Integer oldValue, newValue; for (int i = 0; i < 5; i++) { while (true) { oldValue = count.get("a"); if (null == oldValue) { newValue = 1; if (count.putIfAbsent("a", newValue) == null) { break; } } else { newValue = oldValue + 1; if (count.replace("a", oldValue, newValue)) { break; } } } } endLatch.countDown(); } }; new Thread(task).start(); new Thread(task).start(); try { endLatch.await(); System.out.println(count); } catch (Exception e) { e.printStackTrace(); } }
由于ConcurrentHashMap中不能保存value为null的值，所以需要处理不存在和已存在两种情况，不过可以使用AtomicInteger来替代。
public static void demo1() { final Map<String, AtomicInteger> count = new ConcurrentHashMap<>(); final CountDownLatch endLatch = new CountDownLatch(2); Runnable task = new Runnable() { @Override public void run() { AtomicInteger oldValue; for (int i = 0; i < 5; i++) { oldValue = count.get("a"); if (null == oldValue) { AtomicInteger zeroValue = new AtomicInteger(0); oldValue = count.putIfAbsent("a", zeroValue); if (null == oldValue) { oldValue = zeroValue; } } oldValue.incrementAndGet(); } endLatch.countDown(); } }; new Thread(task).start(); new Thread(task).start(); try { endLatch.await(); System.out.println(count); } catch (Exception e) { e.printStackTrace(); } }
二、ConcurrentHashMap的属性
// 最大容量：2^30=1073741824 private static final int MAXIMUM_CAPACITY = 1 << 30; // 默认初始值，必须是2的幕数 private static final int DEFAULT_CAPACITY = 16; // static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8; // private static final int DEFAULT_CONCURRENCY_LEVEL = 16; // private static final float LOAD_FACTOR = 0.75f; // 链表转红黑树阀值,> 8 链表转换为红黑树 static final int TREEIFY_THRESHOLD = 8; //树转链表阀值，小于等于6（tranfer时，lc、hc=0两个计数器分别++记录原bin、新binTreeNode数量，<=UNTREEIFY_THRESHOLD 则untreeify(lo)） static final int UNTREEIFY_THRESHOLD = 6; // static final int MIN_TREEIFY_CAPACITY = 64; // private static final int MIN_TRANSFER_STRIDE = 16; // private static int RESIZE_STAMP_BITS = 16; // 2^15-1，help resize的最大线程数 private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1; // 32-16=16，sizeCtl中记录size大小的偏移量 private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS; // forwarding nodes的hash值 static final int MOVED = -1; // 树根节点的hash值 static final int TREEBIN = -2; // ReservationNode的hash值 static final int RESERVED = -3; // 可用处理器数量 static final int NCPU = Runtime.getRuntime().availableProcessors();
几个很重要的概念：
- table：用来存放Node节点数据的，默认为null，默认大小为16的数组，每次扩容时大小总是2的幂次方；
- nextTable：扩容时新生成的数据，数组为table的两倍；
- Node：节点，保存key-value的数据结构；
- ForwardingNode：一个特殊的Node节点，hash值为-1，其中存储nextTable的引用。只有table发生扩容的时候，ForwardingNode才会发挥作用，作为一个占位符放在table中表示当前节点为null或者已经被移动；
- sizeCtrl：控制标识符，用来控制table初始化和扩容操作的，在不同的地方有不同的用途，其值也不同，所代表的含义也不同
- 负数代表正在进行初始化或扩容操作
- -1代表正在初始化
- -N表示有N-1个线程正在进行扩容操作
- 正数或0代表hash表还没有被初始化，这个数值表示初始化或下一次进行扩容的大小
三、ConcurrentHashMap的构造函数
public ConcurrentHashMap() { } public ConcurrentHashMap(int initialCapacity) { if (initialCapacity < 0) throw new IllegalArgumentException(); int cap = ((initialCapacity >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY : tableSizeFor(initialCapacity + (initialCapacity >>> 1) + 1)); this.sizeCtl = cap; } public ConcurrentHashMap(Map<? extends K, ? extends V> m) { this.sizeCtl = DEFAULT_CAPACITY; putAll(m); } public ConcurrentHashMap(int initialCapacity, float loadFactor) { this(initialCapacity, loadFactor, 1); } public ConcurrentHashMap(int initialCapacity, float loadFactor, int concurrencyLevel) { if (!(loadFactor > 0.0f) || initialCapacity < 0 || concurrencyLevel <= 0) throw new IllegalArgumentException(); if (initialCapacity < concurrencyLevel) // Use at least as many bins initialCapacity = concurrencyLevel; // as estimated threads long size = (long)(1.0 + (long)initialCapacity / loadFactor); int cap = (size >= (long)MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : tableSizeFor((int)size); this.sizeCtl = cap; }
四、ConcurrentHashMap的put()方法
public V put(K key, V value) { return putVal(key, value, false); } final V putVal(K key, V value, boolean onlyIfAbsent) { if (key == null || value == null) throw new NullPointerException(); // 得到 hash 值 int hash = spread(key.hashCode()); // 用于记录相应链表的长度 int binCount = 0; for (Node<K,V>[] tab = table;;) { Node<K,V> f; int n, i, fh; // 如果数组"空"，进行数组初始化 if (tab == null || (n = tab.length) == 0) // 初始化数组，后面会详细介绍 tab = initTable(); // 找该 hash 值对应的数组下标，得到第一个节点 f else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) { // 如果数组该位置为空， // 用一次 CAS 操作将这个新值放入其中即可，这个 put 操作差不多就结束了，可以拉到最后面了 // 如果 CAS 失败，那就是有并发操作，进到下一个循环就好了 if (casTabAt(tab, i, null, new Node<K,V>(hash, key, value, null))) break; // no lock when adding to empty bin } // hash 居然可以等于 MOVED，这个需要到后面才能看明白，不过从名字上也能猜到，肯定是因为在扩容 else if ((fh = f.hash) == MOVED) // 帮助数据迁移，这个等到看完数据迁移部分的介绍后，再理解这个就很简单了 tab = helpTransfer(tab, f); else { // 到这里就是说，f 是该位置的头结点，而且不为空 V oldVal = null; // 获取数组该位置的头结点的监视器锁 synchronized (f) { if (tabAt(tab, i) == f) { if (fh >= 0) { // 头结点的 hash 值大于 0，说明是链表 // 用于累加，记录链表的长度 binCount = 1; // 遍历链表 for (Node<K,V> e = f;; ++binCount) { K ek; // 如果发现了"相等"的 key，判断是否要进行值覆盖，然后也就可以 break 了 if (e.hash == hash && ((ek = e.key) == key || (ek != null && key.equals(ek)))) { oldVal = e.val; if (!onlyIfAbsent) e.val = value; break; } // 到了链表的最末端，将这个新值放到链表的最后面 Node<K,V> pred = e; if ((e = e.next) == null) { pred.next = new Node<K,V>(hash, key, value, null); break; } } } else if (f instanceof TreeBin) { // 红黑树 Node<K,V> p; binCount = 2; // 调用红黑树的插值方法插入新节点 if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key, value)) != null) { oldVal = p.val; if (!onlyIfAbsent) p.val = value; } } } } if (binCount != 0) { // 判断是否要将链表转换为红黑树，临界值和 HashMap 一样，也是 8 if (binCount >= TREEIFY_THRESHOLD) // 这个方法和 HashMap 中稍微有一点点不同，那就是它不是一定会进行红黑树转换， // 如果当前数组的长度小于 64，那么会选择进行数组扩容，而不是转换为红黑树 // 具体源码我们就不看了，扩容部分后面说 treeifyBin(tab, i); if (oldVal != null) return oldVal; break; } } } // addCount(1L, binCount); return null; }
按照上面的源码，我们可以确定put整个流程如下：
- 判空；ConcurrentHashMap的key，value都不允许为null
- 计算hash。利用方法计算hash值
- 遍历table，进行节点插入操作，过程如下：
- 如果table为空，则表示ConcurrentHashMap还没有初始化，则进行初始化操作：initTable()
- 根据hash值获取节点的位置i，若该位置为空，则直接插入，这个过程是不需要加锁的。计算f位置：i=(n - 1) & hash
- 如果检测到fh = f.hash == -1，则f是ForwardingNode节点，表示有其他线程正在进行扩容操作，则帮助线程一起进行扩容操作
- 如果f.hash >= 0 表示是链表结构，则遍历链表，如果存在当前key节点则替换value，否则插入到链表尾部。如果f是TreeBin类型节点，则按照红黑树的方法更新或者增加节点
- 若链表长度 > TREEIFY_THRESHOLD（默认是8），则将链表转换成红黑树结构
- 调用addCount方法，ConcurrentHashMap的size + 1
这里整个put操作已经完成
五、ConcurrentHashMap的get()方法
public V get(Object key) { Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek; // 计算hash int h = spread(key.hashCode()); if ((tab = table) != null && (n = tab.length) > 0 && (e = tabAt(tab, (n - 1) & h)) != null) { // 搜索到的节点key与传入的key相同且不为null,直接返回这个节点 if ((eh = e.hash) == h) { if ((ek = e.key) == key || (ek != null && key.equals(ek))) return e.val; } // 树 else if (eh < 0) return (p = e.find(h, key)) != null ? p.val : null; // 链表，遍历 while ((e = e.next) != null) { if (e.hash == h && ((ek = e.key) == key || (ek != null && key.equals(ek)))) return e.val; } } return null; }
get操作：
- 计算hash值
- 判断table是否为空，如果为空，直接返回null
- 根据hash值获取table中的Node节点（tabAt(tab, (n - 1) & h)）
然后根据链表或者树形方式找到相对应的节点，返回其value值
六、ConcurrentHashMap扩容操作
// 首先要说明的是，方法参数 size 传进来的时候就已经翻了倍了 private final void tryPresize(int size) { // c：size 的 1.5 倍，再加 1，再往上取最近的 2 的 n 次方。 int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY : tableSizeFor(size + (size >>> 1) + 1); int sc; while ((sc = sizeCtl) >= 0) { Node<K,V>[] tab = table; int n; // 这个 if 分支和之前说的初始化数组的代码基本上是一样的，在这里，我们可以不用管这块代码 if (tab == null || (n = tab.length) == 0) { n = (sc > c) ? sc : c; if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) { try { if (table == tab) { @SuppressWarnings("unchecked") Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n]; table = nt; sc = n - (n >>> 2); // 0.75 * n } } finally { sizeCtl = sc; } } } else if (c <= sc || n >= MAXIMUM_CAPACITY) break; else if (tab == table) { // 我没看懂 rs 的真正含义是什么，不过也关系不大 int rs = resizeStamp(n); if (sc < 0) { Node<K,V>[] nt; if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 || sc == rs + MAX_RESIZERS || (nt = nextTable) == null || transferIndex <= 0) break; // 2. 用 CAS 将 sizeCtl 加 1，然后执行 transfer 方法 // 此时 nextTab 不为 null if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) transfer(tab, nt); } // 1. 将 sizeCtl 设置为 (rs << RESIZE_STAMP_SHIFT) + 2) // 我是没看懂这个值真正的意义是什么？不过可以计算出来的是，结果是一个比较大的负数 // 调用 transfer 方法，此时 nextTab 参数为 null else if (U.compareAndSwapInt(this, SIZECTL, sc, (rs << RESIZE_STAMP_SHIFT) + 2)) transfer(tab, null); } } }
这个方法的核心在于 sizeCrl 值的操作，首先将其设置为一个附属，然后执行 transfer(tab, null)，在下一个循环将 sizeCtl 加1，并执行 transfer(tab, nt)， 之后可能是继续 sizeCtl 加 1，并执行 transfer(tab, nt)。
所以，可能得操作就是执行1次 transfer(tab, null) + 多次 transfer(tab, nt)。
参考资料/相关推荐：
-
死磕Java并发—–J.U.C之Java并发容器：ConcurrentHashMap(http://cmsblogs.com/?p=2283)
-
ConcurrentHashMap使用示例(https://my.oschina.net/mononite/blog/144329)
-
ConcurrentHashMap使用示例(https://blog.csdn.net/zero__007/article/details/49833819)
-
Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析(https://javadoop.com/post/hashmap#Java8%20HashMap)
心里有束光，眼里有片海
