HashMap所有核心底层原理

HashMap基本原理和优缺点

  一句话讲, HashMap底层数据结构,JDK1.7数组+单向链表、JDK1.8数组+单向链表+红黑树。

HashMap的3个底层原理

首先你应该知道HashMap的核心方法之一就是put。我们带着如下几个问题来看下图:

    • hash值计算的算法是什么?就是key.hashCode()吗?

    • 默认情况下,put第一个元素时候容量大小是多少?扩容阈值又是多少?

    • hash寻址如何进行的?

如上图所示,put方法调用了putVal方法,之后主要脉络是:

  1. 第一步调用了hash方法计算hash值。

  2. 第二步计算容量和扩容

  3. 第三步创建元素

如何计算hash值?

计算hash值的算法就在第一步,如图所示,对key值进行hashCode()后,对hashCode的值进行无符号右移16位和hashCode值进行了异或操作。为什么这么做呢?其实涉及了很多数学知识,简单的说就是尽可能让高16和低16位参与运算,可以减少hash值的冲突(数据结构算法课中可能叫散列碰撞)。

默认容量和扩容阈值是多少?

如上图所示,很明显第二步回调用resize方法,获取到默认容量为16,这个16在源码里是1<<4得到的,1左移4位得到的。之后由于默认扩容因子是0.75,所以两者相乘就是扩容大小阈值16*0.75=12。之后就分配了一个大小为16的Node[]数组,作为Key-Value对存放的数据结构。

最后一问题是,如何进行hash寻址的?

hash寻址其实就在数组中找一个位置的意思。用的算法其实也很简单,就是用数组大小和hash值进行n-1&hash运算,这个操作和对hash取模很类似,只不过这样效率更高而已。hash寻址后,就得到了一个位置,可以把key-value的Node元素放入到之前创建好的Node[]数组中了。

HashMap另外3个底层原理

还是老规矩,看如下图:

  • hash值如果计算的相同该怎么解决冲突?

当hash值计算一致,比如当hash值都是1100时,Key-Value对的Node节点还有一个next指针,会以单链表的形式,将冲突的节点挂在数组同样位置。这就是数据结构中所提到解决hash 的冲突方法之一:单链法。当然还有探测法+rehash法有兴趣的人可以回顾《数据结构和算法》相关书籍。

但是当hash冲突严重的时候,单链法会造成原理链接过长,导致HashMap性能下降,因为链表需要逐个遍历性能很差。所以JDK1.8对hash冲突的算法进行了优化。当链表节点数>=7个的时候,会自动转换为红黑树,自平衡的一种二叉树,有很多特点,比如区分红和黑节点等,具体大家可以看小灰算法图解。红黑树的遍历效率是O(logn)肯定比单链表的O(n)要好很多。

总结一句话就是,hash冲突使用单链表法+红黑树来解决的。

  • HashMap扩容后怎么进行rehash的?

上面的图,核心脉络是四步,源码具体的就不粘出来了。当put一个之后,map的size达到扩容阈值12,就会触发rehash。你可以看到如下具体思路:

  1. 新的数组容量为原来的2倍,比如16-32

  2. 新的扩容阈值也是原来的2倍,比如12->24

  3. 为新数组分配了空间newTab,原数组oldTab不为空,需要进行rehash操作

  4. rehash有3种情况,数组位置如果有值,进行rehash。(这一步是rehash核心中的核心)有如下三种情况:

情况1:如果数组位置只有一个值:使用新的容量进行rehash,即e.hash & (newCap - 1)

 

情况2:如果数组位置有链表,根据 e.hash & oldCap == 0进行判断,结果为0的使用原位置,否则使用index + oldCap位置,放入元素形成新链表。

至于为什么可以分为两个链表,这里说明一下。就是hash寻址算法对一个数组下标的所有节点,扩容后进行重新计算的时候,会发现计算出来的位置要么是在原来的index,要么实在原来的index + oldCap的位置,这是hash寻址的一个特点,所以基于这一个既定的结论,就去判断一下每个节点重新hash寻址之后是原来的位置还是index + oldCap的位置就行了(如何判断,就是源码图的第一个红框框出来的),判断是在原来的位置然后一个新的链表,在index + oldCap的位置也形成一个新的链表,这样计算完之后只要把新的两个链表挂在新的数组的 index  和 index + oldCap就行了(如何挂的,就是源码图的第二个红框框出来的)。这样就避免了对每个节点重新进行hash寻址算法,重新放到hash表中的过程,大大提高了效率,这也就是JDK1.8的HashMap扩容rehash算法优化。

情况3:如果数组位置有红黑树,根据split方法,同样根据 e.hash & oldCap == 0进行树节点个数统计,如果个数<=6,将树的结果恢复为普通Node,否则使用index + oldCap,调整红黑树位置。

其实原理跟链表的差不多,就是链表拆成两个链表,红黑树这个拆成两个红黑树,分别挂到新的数组的位置上,只不过最后加个判断,就是判断这个红黑树是需要变成链表还是继续是红黑树。

所以在JDK1.8的rehash算法优化就是对原来的链表或者红黑树进行拆分成两部分,然后分别挂在原来数组的位置和 数组的位置 + oldCap的位置,这样做就避免了大量的节点进行重新hash寻址算法和重新放到hash表的过程,大大增加了扩容效率。

final void split(HashMap<K,V> map, Node<K,V>[] tab, int index, int bit) {
            TreeNode<K,V> b = this;
            // Relink into lo and hi lists, preserving order
            TreeNode<K,V> loHead = null, loTail = null;
            TreeNode<K,V> hiHead = null, hiTail = null;
            int lc = 0, hc = 0;
            for (TreeNode<K,V> e = b, next; e != null; e = next) {
                next = (TreeNode<K,V>)e.next;
                e.next = null;
                if ((e.hash & bit) == 0) {
                    if ((e.prev = loTail) == null)
                        loHead = e;
                    else
                        loTail.next = e;
                    loTail = e;
                    ++lc;
                }
                else {
                    if ((e.prev = hiTail) == null)
                        hiHead = e;
                    else
                        hiTail.next = e;
                    hiTail = e;
                    ++hc;
                }
            }

            if (loHead != null) {
                if (lc <= UNTREEIFY_THRESHOLD)
                    tab[index] = loHead.untreeify(map);
                else {
                    tab[index] = loHead;
                    if (hiHead != null) // (else is already treeified)
                        loHead.treeify(tab);
                }
            }
            if (hiHead != null) {
                if (hc <= UNTREEIFY_THRESHOLD)
                    tab[index + bit] = hiHead.untreeify(map);
                else {
                    tab[index + bit] = hiHead;
                    if (loHead != null)
                        hiHead.treeify(tab);
                }
            }
        }

你有兴趣的话,可以分别画一下这三种情况的图。这里给大家一个图,假设都出发了以上三种情况结果如下所示:

  • 指定大小的HashMap,扩容阈值算法是什么?

最后我们来看下,new HashMap(100)指定容量大小后的原理,如下代码:

public HashMap(int initialCapacity) {
    this(initialCapacity, DEFAULT_LOAD_FACTOR);
}

public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " + loadFactor);
    this.loadFactor = loadFactor;
    this.threshold = tableSizeFor(initialCapacity);
}

上面源码核心脉络,3个if主要是校验了一堆,没做什么事情,之后赋值了扩容因子,不传递使用默认值0.75,扩容阈值threshold通过tableSizeFor(initialCapacity);进行计算。注意这里只是计算了扩容阈值,没有初始化数组。代码如下:

static final int tableSizeFor(int cap) {
   int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

竟然不是大小*扩容因子?

n |= n >>> 1这句话,是在干什么?n |= n >>> 1等价于n = n | n >>>1; 而|表示位运算中的或,n>>>1表示无符号右移1位。遇到这种情况,之前你应该学到了,如果碰见复杂逻辑和算法方法就是画图或者举例子。这里你就可以举个例子:假设现在指定的容量大小是100,n=cap-1=99,那么计算过程应该如下:

n是int类型,java中一般是4个字节,32位。所以99的二进制:0000 0000 0000 0000 0000 0000 0110 0011。

举例:cap=100  n=cap-1

n = n | n >>> 1如下:

0000 0000 0000 0000 0000 0000 0110 0011 十进制

0000 0000 0000 0000 0000 0000 0011 0001 十进制49

0000 0000 0000 0000 0000 0000 0111 0011 十进制115



n = n | n >>> 2如下:

0000 0000 0000 0000 0000 0000 0111 0011 十进制 115

0000 0000 0000 0000 0000 0000 0001 1100 十进制 28

0000 0000 0000 0000 0000 0000 0111 1111 十进制127





n = n | n >>> 4如下:

0000 0000 0000 0000 0000 0000 0111 1111 十进制 127

0000 0000 0000 0000 0000 0000 0001 1111 十进制 31

0000 0000 0000 0000 0000 0000 0111 1111 十进制127



n = n | n >>> 8

0000 0000 0000 0000 0000 0000 0111 1111 十进制 127

0000 0000 0000 0000 0000 0000 0000 0000 十进制 0

0000 0000 0000 0000 0000 0000 0111 1111 十进制127



n = n | n >>> 16

0000 0000 0000 0000 0000 0000 0111 1111 十进制 127

0000 0000 0000 0000 0000 0000 0000 0000 十进制 0

0000 0000 0000 0000 0000 0000 0111 1111 十进制127

最后n+1=128,方法返回,赋值给threshold=128。再次注意这里只是计算了扩容阈值,没有初始化数组。

 

为什么这么做呢?一句话,为了提高hash寻址和扩容计算的的效率。

因为无论扩容计算还是寻址计算,都是二进制的位运算,效率很快。另外之前你还记得取余(%)操作中如果除数是2的幂次方则等同于与其除数减一的与(&)操作。即 hash%size = hash & (size-1)。这个前提条件是除数是2的幂次方。

你可以再回顾下resize代码,看看指定了map容量,第一次put会发生什么。会将扩容阈值threshold,这样在第一次put的时候就会调用newCap = oldThr;使得创建一个容量为threshold的数组,之后从而会计算新的扩容阈值newThr为newCap*0.75=128*0.75=96。也就是说map到了96个元素就会进行扩容。

JDK1.7 HashMap死循环问题?

在JDK1.8引入红黑树之前,JDK1.7由于只有单向链表解决hash冲突,除了遍历性能可能会慢,还有几率在多线程同时扩容,rehash的时候发生死循环问题,造成cpu100%。虽然把hashMap用到多线程很不合理,但是有时候面试总会考这么***钻的问题。面试圈有时候还是比较复杂的。。。

  造成死循环的这个问题,过程比较复杂,这一节可能讲不完了。这里给大家抛砖引玉下。

    造成死循环的核心脉络有如下几步:

1、首先原位置得有hash冲突,比如链表元素有4个。

2、之后需要有2个线程,同时添加元素,均满足扩容条件,进行扩容

3、一个线程刚刚进行了rehash操作,之后另一个线程开始rehash操作,会形成环向链表。

4、get操作时候发生无限死循环,cpu可能达到100%

如下图:

 

posted @ 2022-08-02 10:08  民宿  阅读(136)  评论(0编辑  收藏  举报