python之MRO和垃圾回收机制

一、MOR

1、C3算法简介

为了解决原来基于深度优先搜索算法不满足本地优先级,和单调性的问题。
python2.3版本之后的新式类,查找继承顺序都采用C3算法

 

2、算法原理

C3算法的本质就是Merge, 不断地把mro()函数返回的队列进行Merge,规则如下:
(0)
    首先把要查找的类的所有父类的mro找出来,再把所有父类的mro和所有父类进行归并算法

(1) 
    如果第一个序列的第一个元素,是后续序列的第一个元素,或者在后续序列中没有再次出现,则将这个元素合并到最终的方法解析顺序序列中,
    并从当前操作的全部序列中删除。

(2)
    如果不符合,则跳过此元素,查找下一个列表的第一个元素,重复1的判断规则。

 

3、示例

class A(object): pass
class B(A): pass
class C(A): pass
class D(B): pass
class E(C): pass
class F(D,E): pass

# F的mro顺序:
# 第一步 找出F所有的父类的MRO
# D  [DBAO]
# E  [ECAO]
# 第二步 把所有父类的MRO 以及 所有的父类做归并算法
# [DBAO] [ECAO] [DE]
# F + merge([DBAO] [ECAO] [DE])
# 取第一个序列的第一个元素D,它是后续序列[DE]的第一个元素,那么D是最终序列的第一个元素
# 把D从全部序列中删除
# FD + merge([BAO] [ECAO] [E])
# B在后续序列中没有再次出现,那么B是最终序列的第二个元素
# 把B从全部序列中删除
# FDB + merge([AO] [ECAO] [E])
# A在后续序列中出现了,跳过A,查找下一个列表的第一个元素E,E是后续序列的第一个元素,取E
# FDBE + merge([AO] [CAO])
# FDBEC + merge([AO] [AO])
# FDBECAO
print(F.__mro__)

 

二、垃圾回收机制

参考文章:https://zhuanlan.zhihu.com/p/124290355

GC的意义

GC的全称是garbage collection,中文名称垃圾回收

在程序中定义了一个变量,就是在内存中开辟了一段相应的空间来存值。
由于内存是有限的,所以当程序不再需要使用某个变量的时候,就需要销毁该对象并释放其所占用的内存资源。
如果销毁这个对象需要由程序员手动释放,这显然非常繁琐,而且一旦有所疏忽,就可能造成内存泄漏。

这时候就需要GC了,GC大概在1960年就有了,发展至今,已经有相当多的算法,如标记-清除、引用计数、标记-压缩、分代回收等。
有了GC,程序员就不需要再手动地去控制内存的释放,这一切可以交由语言本身来自动完成。
GC本质上做了三件事情:

  1. 为新生对象分配内存
  2. 垃圾检测
  3. 垃圾回收

Python中的GC,以引用计数为主,标记-清除和分代回收为辅。

1、引用计数机制

python中的垃圾回收机制是:引用计数为主、标记清除和分代回收为辅
python里每一个东西都是对象,它们的核心就是一个结构体:PyObject
Python对象和引用是分离的

PyObject是每个对象必有的内容,其中ob_refcnt就是做为引用计数。当一个对象有新的引用时,它的ob_refcnt就会增加,当引用它的对象被删除,
它的ob_refcnt就会减少。

当引用计数为0时,该对象生命就结束了,就会被清除了。


查看某个变量的引用计数
from sys import getrefcount
print(getrefcount(变量))


引用计数机制的优点:
1. 简单
2. 实时性
    一旦没有引用,内存就直接释放了。不用像其他机制等到特定时机。实时性还带来一个好处:处理回收内存的时间分摊到了平时。

引用计数机制的缺点:
1. 维护引用计数消耗资源
2. 循环引用的时候,这个对象的引用计数永远不会为0,这个对象就会一直存在
    d = [1,2,3]
    f = [4,5,6]
    d.append(f)
    f.append(d)

 

2、标记清除

标记清除(Mark—Sweep)算法是一种基于追踪回收(tracing GC)技术实现的垃圾回收算法。
它分为两个阶段:
    第一阶段是标记阶段,GC会把所有的活动对象打上标记。
    第二阶段是把那些没有标记的非活动对象进行回收。

如何判断哪些是活动对象哪些是非活动对象:
对象之间通过引用(指针)连在一起,构成一个有向图,对象构成这个有向图的节点,而引用关系构成这个有向图的边。
从根对象(root object)出发,沿着有向边遍历对象,
可达的(reachable)对象标记为活动对象,不可达的对象就是要被清除的非活动对象。
根对象就是全局变量、调用栈、寄存器。 示例图: 在上图中,我们把小圈当做全局变量,也就是把它作为root object, 从小圈出发,对象1可直达,那么它将被标记,对象2、
3、6可间接到达也会被标记, 而4和5不可达,那么1、2、3、6就是活动对象,4和5是非活动对象会被GC回收。 标记清除算法作为Python的辅助垃圾收集技术主要处理的是一些容器对象, 比如list、dict、tuple,instance等,因为对于字符串、数值对象是不可能造成循环引用问题。 Python使用一个双向链表将这些容器对象组织起来。 不过,这种简单粗暴的标记清除算法也有明显的缺点:清除非活动的对象前它必须顺序扫描整个堆内存,哪怕只剩下小部分活动对象也要扫描所有对象。

 

3、分代回收

1. 理论解释
分代回收是一种以空间换时间的操作方式,Python将内存根据对象的存活时间划分为不同的集合,每个集合称为一个代,Python将内存分为了3“代”,分别
为年轻代(第0代)、中年代(第1代)、老年代(第2代),他们对应的是3个链表,它们的垃圾收集频率与对象的存活时间的增大而减小。新创建的对象都会
分配在年轻代,年轻代链表的总数达到上限时,Python垃圾收集机制就会被触发,把那些可以被回收的对象回收掉,而那些不会回收的对象就会被移到中年
代去,依此类推,老年代中的对象是存活时间最久的对象,甚至是存活于整个系统的生命周期内。同时,分代回收是建立在标记清除技术基础之上。分代回收
同样作为Python的辅助垃圾收集技术处理那些容器对象。


2. 简单来说
创建对象到销毁的过程:
--分配内存 
--新创建的对象都会在年轻一代
--当阈值达到(超过)年轻一代的阈值 
--触发垃圾回收机制(引用计数和标记清除)
--收集内存中所有对象
--首先计算引用计数,遍历对象
--引用计数为0的直接释放掉
--再执行标记清除,把不可达的对象清理掉
--剩下的对象放到放入到中年一代
--当阈值达到(超过)者中年一代的阈值 
--触发垃圾回收机制(引用计数和标记清除)

 

4、总结

1. 无论何时,只要某个对象的引用计数为0,它所占用的内存就会被释放。
2. 对于容器对象(dict、list等),由于它们可能会产生循环引用,这时引用计数就无法解决。
   于是此时就需要使用标记-清除的方式来进行清理。
3. 最后为了提升垃圾回收的效率,引入了分代回收的机制,以空间换时间。

 

5、python中的GC模块

import gc

gc.set_threshold(threshold0[,threshold1[,threshold2]])  # 可以设置每一代GC被触发的阈值
从上一次第0代GC后,如果分配对象的个数减去释放对象的个数大于threshold0,那么就会对第0代中的对象进行GC; 
从上一次第1代GC后,如果第0代被GC的次数大于threshold1,那么就会对第1代中的对象进行GC;
从上一次第2代GC后,如果第1代被GC的次数大于threshold2,那么就会对第2代中的对象进行GC。
除此之外,还有两种情况会触发GC
    第一种是手动调用  gc.collect()
    第二种便是程序退出

 

6、垃圾不能及时回收

会导致内存泄漏

 

posted @ 2018-12-08 19:06  我用python写Bug  阅读(482)  评论(0编辑  收藏  举报