垃圾回收机制

Python-垃圾回收（GC）机制

一、什么是GC

在Java中，对象所占用的内存在对象不再使用后会自动被回收。这些工作是由一个叫垃圾回收器 （Garbage Collector ）的进程完成的。

python和其他很多高级语言一样，都自带垃圾回收机制，即GC机制。

 

二、GC机制

 Python中的垃圾回收是以引用计数为主，标记-清除和分代收集为辅。引用计数最大缺陷就是循环引用的问题，所以Python采用了辅助方法。

 

注意：

　　1、垃圾回收时，Python不能进行其它的任务，频繁的垃圾回收将大大降低Python的工作效率；

　　2、Python只会在特定条件下，自动启动垃圾回收（垃圾对象少就没必要回收）

　　3、当Python运行时，会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时，垃圾回收才会启动。

1、引用计数

Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。

原理

引用计数法的原理是每个对象维护一个ob_refcnt，用来记录当前对象被引用的次数，也就是来追踪到底有多少引用指向了这个对象。当一个对象有新的引用时，它的ob_refcnt就会增加，当引用它的对象被删除，它的ob_refcnt就会减少。当引用计数为0时，该对象生命就结束了。

源码如下：

// object.h
struct _object {
    Py_ssize_t ob_refcnt;  # 引用计数值
    struct PyTypeObject *ob_type;
} PyObject;

 

引用计数增加的情况：

1. 对象被创建：x='spam'
2. 用另一个别名被创建：y=x
3. 被作为参数传递给函数：foo(x)
4. 作为容器对象的一个元素：a=[1,x,'33']

引用计数减少情况

1. 一个本地引用离开了它的作用域。比如上面的foo(x)函数结束时，x指向的对象引用减1。
2. 对象的别名被显式的销毁：del x ；或者del y
3. 对象的一个别名被赋值给其他对象：x=789
4. 对象从一个窗口对象中移除：myList.remove(x)
5. 窗口对象本身被销毁：del myList，或者窗口对象本身离开了作用域。

引用计数法有很明显的优点：

1. 高效
2. 运行期没有停顿 可以类比一下Ruby的垃圾回收机制，也就是 实时性：一旦没有引用，内存就直接释放了。不用像其他机制等到特定时机。实时性还带来一个好处：处理回收内存的时间分摊到了平时。 对象有确定的生命周期
3. 易于实现

原始的引用计数法也有明显的缺点：

1. 维护引用计数消耗资源，维护引用计数的次数和引用赋值成正比，而不像mark and sweep等基本与回收的内存数量有关。
2. 无法解决循环引用的问题。A和B相互引用而再没有外部引用A与B中的任何一个，它们的引用计数都为1，但显然应该被回收。

# 循环引用的示例：
list1 = []
list2 = []
list1.append(list2)
list2.append(list1)

对于现如今强大的硬件来说，缺点维护引用计数消耗资源还尚可接受，但是循环引用导致内存泄漏却无疑是致命的，因此python还引入了新的回收机制（标记清除和分代收集）

 

2、标记-清除算法

针对循环引用的情况：我们有一个“孤岛”或是一组未使用的、互相指向的对象，但是谁都没有外部引用。换句话说，我们的程序不再使用这些节点对象了，所以我们希望Python的垃圾回收机制能够足够智能去释放这些对象并回收它们占用的内存空间。但是这不可能，因为所有的引用计数都是1而不是0。Python的引用计数算法不能够处理互相指向自己的对象。你的代码也许会在不经意间包含循环引用并且你并未意识到。事实上，当你的Python程序运行的时候它将会建立一定数量的“浮点数垃圾”，Python的GC不能够处理未使用的对象因为应用计数值不会到零。
 这就是为什么Python要引入Generational GC算法的原因！ 

『标记清除（Mark—Sweep）』算法是一种基于追踪回收（tracing GC）技术实现的垃圾回收算法。它分为两个阶段：第一阶段是标记阶段，GC会把所有的『活动对象』打上标记，第二阶段是把那些没有标记的对象『非活动对象』进行回收。那么GC又是如何判断哪些是活动对象哪些是非活动对象的呢？

对象之间通过引用（指针）连在一起，构成一个有向图，对象构成这个有向图的节点，而引用关系构成这个有向图的边。从根对象（root object）出发，沿着有向边遍历对象，可达的（reachable）对象标记为活动对象，不可达的对象就是要被清除的非活动对象。根对象就是全局变量、调用栈、寄存器。

标记清除算法作为Python的辅助垃圾收集技术主要处理的是一些容器对象，比如list、dict、tuple，instance等，因为对于字符串、数值对象是不可能造成循环引用问题。Python使用一个双向链表将这些容器对象组织起来。不过，这种简单粗暴的标记清除算法也有明显的缺点：清除非活动的对象前它必须顺序扫描整个堆内存，哪怕只剩下小部分活动对象也要扫描所有对象。

标记清除算法在申请内存时，所有容器对象的头部又加上了PyGC_Head来实现“标记-清除”机制。任何一个python对象都分为两部分: PyObject_HEAD + 对象本身数据

源码如下：

// objimpl.h
typedef union _gc_head {
    struct {
        union _gc_head *gc_next;
        union _gc_head *gc_prev;
        Py_ssize_t gc_refs;
    } gc;
    long double dummy;  /* force worst-case alignment */
} PyGC_Head;

 

 

3、分代回收算法

• Python将所有的对象分为0，1，2三代；
• 所有的新建对象都是0代对象；
• 当某一代对象经历过垃圾回收，依然存活，就被归入下一代对象。

python在创建对象之前，会创建一个链表，零代链表，只不过这个链表是空的。每当你创建一个对象，python便会将其加入到零代链表。

 

python隔代回收的核心：对链子上的那些明明没有被引用但引用计数却不是零的对象进行引用计数减去一，看看你是不是垃圾。如果被引用多次减去一之后仍不为零，那么会在零代链表当中继续被清理，直至引用计数为零。因为如果没有变量指向它，或者作为函数的参数，列表的元素等等，那么它就始终是零代链表中被清理的对象。当零代链表被清理达到一定次数时，会清理一代链表。一代链表被清理达到一定次数时，会清理二代链表。

因此清理的频率最高的是零代链表，其次是一代链表，再是二代链表。

 

注：python内存管理机制

原理：

1. Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统；
2. Pymalloc机制：为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放；
3. 对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

 

内存池（金字塔）：

• 第3层：最上层，用户对Python对象的直接操作
• 第1层和第2层：内存池，有Python的接口函数PyMem_Malloc实现-----若请求分配的内存在1~256字节之间就使用内存池管理系统进行分配，调用malloc函数分配内存，但是每次只会分配一块大小为256K的大块内存，不会调用free函数释放内存，将该内存块留在内存池中以便下次使用。
• 第0层：大内存-----若请求分配的内存大于256K，malloc函数分配内存，free函数释放内存。
• 第-1，-2层：操作系统进行操作