Go切片的长度和容量及growslice源码分析

虽然说 Go 的语法在很大程度上和 PHP 很像,但 PHP 中却是没有“切片”这个概念的,在学习的过程中也遇到了一些困惑,遂做此笔记。
困惑1:使用 append 函数为切片追加元素后,切片的容量时变时不变,其扩容机制是什么?
困惑2:更改切片的元素会修改其底层数组中对应的元素。为什么有些情况下更改了切片元素,其底层数组元素没有更改?

一、切片的声明

切片可以看成是数组的引用。在 Go 中,每个数组的大小是固定的,不能随意改变大小,切片可以为数组提供动态增长和缩小的需求,但其本身并不存储任何数据。

/*
 * 这是一个数组的声明
 */
var a [5]int //只指定长度,元素初始化为默认值0
var a [5]int{1,2,3,4,5}

/* 
 * 这是一个切片的声明:即声明一个没有长度的数组
 */
// 数组未创建
// 方法1:直接初始化
var s []int //声明一个长度和容量为 0 的 nil 切片
var s []int{1,2,3,4,5} // 同时创建一个长度为5的数组
// 方法2:用make()函数来创建切片:var 变量名 = make([]变量类型,长度,容量)
var s = make([]int, 0, 5)
// 数组已创建
// 切分数组:var 变量名 []变量类型 = arr[low, high],low和high为数组的索引。
var arr = [5]int{1,2,3,4,5}
var slice []int = arr[1:4] // [2,3,4]

二、切片的长度和容量

切片的长度是它所包含的元素个数。
切片的容量是从它的第一个元素到其底层数组元素末尾的个数。
切片 s 的长度和容量可通过表达式 len(s)cap(s) 来获取。

s := []int{0, 1, 2, 3, 4, 5, 6, 7, 8, 9} // [0 1 2 3 4 5 6 7 8 9] len=10,cap=10
s1 := s[0:5] // [0 1 2 3 4] len=5,cap=10
s2 := s[5:] // [5 6 7 8 9] len=5,cap=5

三、切片追加元素后长度和容量的变化

1.append 函数

Go 提供了内建的 append 函数,为切片追加新的元素。

func append(s []T, vs ...T) []T

append 的结果是一个包含原切片所有元素加上新添加元素的切片。

下面分两种情况描述了向切片追加新元素后切片长度和容量的变化。
Example 1:

package main

import "fmt"

func main() {
    arr := [5]int{1,2,3,4,5} // [1 2 3 4 5]
    fmt.Println(arr)
	
    s1 := arr[0:3] // [1 2 3]
    printSlice(s1)
    s1 = append(s1, 6)
    printSlice(s1)
    fmt.Println(arr)
}

func printSlice(s []int) {
    fmt.Printf("len=%d cap=%d %p %v\n", len(s), cap(s), s, s)
}

执行结果如下:

[1 2 3 4 5]
len=3 cap=5 0xc000082030 [1 2 3]
len=4 cap=5 0xc000082030 [1 2 3 6]
[1 2 3 6 5]

可以看到切片在追加元素后,其容量和指针地址没有变化,但底层数组发生了变化,下标 3 对应的 4 变成了 6。

Example 2:

package main

import "fmt"

func main() {
    arr := [5]int{1,2,3,4} // [1 2 3 4 0]
    fmt.Println(arr)
	
    s2 := arr[2:] // [3 4 0]
    printSlice(s2)
    s2 = append(s2, 5)
    printSlice(s2)
    fmt.Println(arr)
}

func printSlice(s []int) {
    fmt.Printf("len=%d cap=%d %p %v\n", len(s), cap(s), s, s)
}

执行结果如下:

[1 2 3 4 0]
len=3 cap=3 0xc00001c130 [3 4 0]
len=4 cap=6 0xc00001c180 [3 4 0 5]
[1 2 3 4 0]

而这个切片在追加元素后,其容量和指针地址发生了变化,但底层数组未变。

Example 3:

package main

import "fmt"

func main() {
    s3 := []int{1,2} // [1 2]
    printSlice(s3)
    s3 = append(s3, 3,4,5)
    printSlice(s3)
}

func printSlice(s []int) {
    fmt.Printf("len=%d cap=%d %p %v\n", len(s), cap(s), s, s)
}

执行结果如下:

len=2 cap=2 0xc42006a190 [1 2]
len=5 cap=6 0xc42006e090 [1 2 3 4 5]

这个切片在追加元素后,其容量和指针地址发生了变化。前面两个 case,容量都是翻了两倍,但在这个 case 中,容量翻了三倍。

四、切片的源代码学习

Go 中切片的数据结构可以在源码下的 src/runtime/slice.go 查看。以下源代码基于 go1.17.5 版本,有删减。

4.1 slice 的结构体

切片作为数组的引用,有三个属性字段:指向数组的指针、长度和容量。

type slice struct {
    // 指向底层数组的指针
    array unsafe.Pointer
    // slice 当前元素个数,即 len() 时返回的数
    len   int
    // slice 的容量,即 cap() 时返回的数
    cap   int
}
4.2 slice 的追加和扩容

slice 通过调用 append 函数来针对slice进行尾部追加元素,如果此时 slicecap 值小于当前 len 加上 append 中传入值的数量,就会调用 runtime.growslice 函数,进行扩容。

growslice代码可以分成三部分:

  • 基本扩容规则
func growslice(et *_type, old slice, cap int) slice {
    // 新容量默认为原有容量
    newcap := old.cap
    doublecap := newcap + newcap
    // 如果新容量大于旧容量的两倍,则直接按照新容量大小申请
    if cap > doublecap {
		newcap = cap
    } else {
        // 如果原有长度小于1024,则新容量是旧容量的2倍
        if old.len < 1024 {
            newcap = doublecap
        } else {
            // 按照原有容量的 1/4 增加,直到满足新容量的需要
            for 0 < newcap && newcap < cap {
                newcap += newcap / 4
            }
            // 检查容量是否溢出。
            if newcap <= 0 {
                newcap = cap
            }
        }
    }
}

et 代表 slice 中的元素类型,
old 是扩容前的切片,
cap 是期望容量,也就是扩容后至少需要的最小容量,即 old.cap + 本次新增的元素数量。

newcap 的增长规则如下:
期望容量大于当前容量的 2 倍,新容量为期望容量;
旧切片长度小于 1024 ,新容量为旧容量的 2 倍;
旧容量以 0.25 的速率进行扩容,直到大于等于期望容量。

  • 内存字节对齐
    容量翻倍或者是增加 25% 后,还会进行接下来的计算:
func growslice(et *_type, old slice, cap int) slice {
	
    var overflow bool
    var lenmem, newlenmem, capmem uintptr
    // 对于不同的slice元素大小,选择不同的计算方法,获取需要申请的内存大小。
    switch {
    case et.size == 1:
        lenmem = uintptr(old.len)
        newlenmem = uintptr(cap)
        capmem = roundupsize(uintptr(newcap))
        overflow = uintptr(newcap) > maxAlloc
        newcap = int(capmem)
    case et.size == sys.PtrSize:
        lenmem = uintptr(old.len) * sys.PtrSize
        newlenmem = uintptr(cap) * sys.PtrSize
        capmem = roundupsize(uintptr(newcap) * sys.PtrSize)
        overflow = uintptr(newcap) > maxAlloc/sys.PtrSize
        newcap = int(capmem / sys.PtrSize)
    case isPowerOfTwo(et.size):
        var shift uintptr
        if sys.PtrSize == 8 {
            shift = uintptr(sys.Ctz64(uint64(et.size))) & 63
        } else {
            shift = uintptr(sys.Ctz32(uint32(et.size))) & 31
		}
        lenmem = uintptr(old.len) << shift
        newlenmem = uintptr(cap) << shift
        capmem = roundupsize(uintptr(newcap) << shift)
        overflow = uintptr(newcap) > (maxAlloc >> shift)
        newcap = int(capmem >> shift)
    default:
        lenmem = uintptr(old.len) * et.size
        newlenmem = uintptr(cap) * et.size
        capmem, overflow = math.MulUintptr(et.size, uintptr(newcap))
        capmem = roundupsize(capmem)
        newcap = int(capmem / et.size)
    }
}

sys.PtrSize 是一个指针的大小,在 64 位中为 8。

const PtrSize = 4 << (^uintptr(0) >> 63)

这里根据 et.size 的大小使用 roundupsize 函数调整 newcap 的大小。

  • 数据拷贝
func growslice(et *_type, old slice, cap int) slice {

    memmove(p, old.array, lenmem)
}

最后返回一个新的切片:

func growslice(et *_type, old slice, cap int) slice {

    return slice{p, old.len, newcap}
}

上面的 Example1 和 Example2,都走到了扩容的 else 里,切片的容量均小于 1024 个元素,所以扩容的时候,每增加一个元素,其容量翻番。

Example2 中,因为切片的底层数组没有足够的可用容量,append() 函数会创建一个新的底层数组,将被引用的现有的值复制到新数组里,再追加新的值,所以原数组没有变化,不是我想象中的[1 2 3 4 5],

Example3 中,切片原来只有 2 个元素,追加 3 个元素,走到了扩容的 if 里,所以 newcap 变成了 5。接着调用了 roundupsize 函数,得到 48,最终,新的 slice 的容量为 6。

4.3 切片扩容的内部实现

扩容1:切片扩容后其容量不变

slice := []int{1,2,3,4,5}
// 创建新的切片,其长度为 2 个元素,容量为 4 个元素
mySlice := slice[1:3]
// 使用原有的容量来分配一个新元素,将新元素赋值为 40
mySlice = append(mySlice, 40)

执行上面代码后的底层数据结构如下图所示:

扩容2:切片扩容后其容量变化

// 创建一个长度和容量都为 5 的切片
mySlice := []int{1,2,3,4,5}
// 向切片追加一个新元素,将新元素赋值为 6
mySlice = append(mySlice, 6)

执行上面代码后的底层数据结构如下图所示:

五、小结

  1. 切片是一个结构体,保存着切片的容量,长度以及指向数组的指针(数组的地址)。
  2. 尽量对切片设置初始容量值,以避免 append 调用 growslice,因为新的切片容量比旧的大,会开辟新的地址,拷贝数据,降低性能。

ChangeLog:2022.1.3更新源码学习笔记

posted @ 2020-01-31 01:21  鹿呦呦  阅读(8301)  评论(7编辑  收藏  举报