GIL
1>什么是GIL?
GIL 是最流程的 CPython 解释器(平常称为 Python)中的一个技术术语,中文译为全局解释器锁,其本质上类似操作系统的 Mutex。
GIL 的功能是:在 CPython 解释器中执行的每一个 Python 线程,都会先锁住自己,以阻止别的线程执行。
2:GIL的影响?
GIL无疑就是一把全局排他锁。毫无疑问全局锁的存在会对多线程的效率有不小影响。甚至就几乎等于Python是个单线程的程序。
python在多线程的情况下居然比单线程整整慢了45%。
GIL的影响
GIL遵循的原则:“一个线程运行 Python ,而其他 N 个睡眠或者等待 I/O.”(即保证同一时刻只有一个线程对共享资源进行存取)。
之前看到一直以为有GIL全局锁的的存在,那在多线程中为什么要自己再加锁呢,后来发现想错了,怎么可能会等一个线程结束了才会执行另一个线程呢,那多线程就没有了存在的必要。
# 有了GIL全局锁,线程间访问全局变量还是需要同步
total = 0
def add():
global total
for i in range(1000000):
total += 1
def desc():
global total
for i in range(1000000):
total -= 1
import threading
thread1 = threading.Thread(target=add)
thread2 = threading.Thread(target=desc)
thread1.start()
thread2.start()
thread1.join()
thread2.join()
print(total)
这个例子中,两个线程分别对一个全局变量total进行加和减1000000次,但是结果并不是0!而是每次运行结果都不相同。
造成这个结果的原因是GIL事实上是会释放的,python中有两种多任务处理:
1. 协同式多任务处理:一个线程无论何时开始睡眠或等待网络 I/O,就会释放GIL锁
2. 抢占式多任务处理:如果一个线程不间断地在 Python 2 中运行 1000 字节码指令,或者不间断地在 Python 3 运行15 毫秒,那么它便会放弃 GIL,而其他线程可以运行
这样解释之后感觉GIL没啥影响啊,反正会切换的嘛,那为什么都说由于GIL的存在,导致python的多线程比单线程还慢,按我的理解,在单核CPU下没什么不一样(也有可能有性能损失),但是在多核CPU下问题就大了,不同核心上的线程同一时刻也只能执行一个,所以不能够利用多核CPU的优势,反而在不同核心间切换时会造成资源浪费,反而比单核CPU更慢。
解决办法
1. 多线程比较低效时,可用multiprocess库替代Thread库,即使用多进程而不是多线程,每个进程有自己的独立的GIL,因此也不会出现进程之间的GIL争抢。但这样的话也会带来很多其他问题,比如进程间数据通讯和同步的困难。
2. 多线程也不是这么一无是处,在IO密集型操作时,用多线程还是有效果的,不会比多进程差,甚至会更好。
3. 用其他解析器。像JPython和IronPython这样的解析器由于实现语言的特性,他们不需要GIL的帮助。然而由于用了Java/C#用于解析器实现,他们也失去了利用社区众多C语言模块有用特性的机会。所以这些解析器也因此一直都比较小众。毕竟功能和性能大家在初期都会选择前者。
4. 等待GIL的改进。python社区也在非常努力的不断改进GIL,甚至是尝试去除GIL。并在各个小版本中有了不少的进步。
总结
由于GIL涉及到底层实现,比较复杂,想要完全搞明白还是很困难的。但是只要记住2点:
1. 在IO密集型型操作下,多线程还是可以的。比如在网络通信,time.sleep()延时的时候。
2. 在CPU密集型操作下,多线程性能反而不如单线程,此时只能用多进程。