GIL以及协程

GIL以及协程

一、GIL全局解释器锁

• 演示

'''
python解释器：
    - Cpython c语言
    - Jpython java

1、GIL：全局解释器锁
    - 翻译：在同一个进程下开启的多个线程，同一时刻只能有一个线程执行，因为Cpython的内存管理不是线程安全。

    - GIL全局解释器锁，本质上就是一把互斥锁，保证数据安全

定义：
In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple
native threads from executing Python bytecodes at once. This lock is necessary mainly
because CPython’s memory management is not thread-safe. (However, since the GIL
exists, other features have grown to depend on the guarantees that it enforces.)

结论：在Cpython解释器中，同一个进程下开启的多线程，同一时刻只能有一个线程执行，无法利用多多核优势。


GIL全局解释器的优缺点：

    优点：
        保证数据的安全
    缺点：
        单个进程下，开启多个线程，牺牲执行效率，无法实现并行，只能实现并发

        - IO密集型：用多线程
        - 计算密集型：用多进程
'''

import time
from threading import Thread, Lock
lock = Lock()


n = 100


def task():
    lock.acquire()
    global n
    m = n
    time.sleep(1)
    n = m - 1
    lock.release()


if __name__ == '__main__':
    list1 = []


    for line in range(10):
        t = Thread(target=task)
        t.start()
        list1.append(t)

    for t in list1:
        t.join()

    print(n)

• 查找资源

# 查文档，看是否能手动清理内存
# import gc

# - 查看课外问题:
# - 国内: 开源中国、CSDN、cnblogs、https://www.v2ex.com/
# - 国外: Stack Overflow、github、谷歌

二、使用多线程提高效率

• 实例

from threading import Thread
from multiprocessing import Process
import time

'''
IO密集型下使用多线程
计算密集型下使用多进程

IO密集型任务，每个任务4s

    - 单核：
        - 开启多线程节省资源
        
    - 多核：
        - 多线程：
            - 开启4个子线程：16s
            
        - 多进程：
            - 开启4个子进程：16s + 申请开启资源消耗的时间
            
计算密集型任务，每个任务4s
    - 单核：
        - 开启线程比进程节省资源
        
    - 多核：
        多线程：
            - 开启4个子线程：16s
            
        多进程：
            - 开启多个进程：4s
            
        
'''

# def task1():
#     #计算1000000词的 += 1
#     i = 10
#     for line in range(1000000):
#         i += 1
#
#
# def task2():
#     time.sleep(2)
#
#
# if __name__ == '__main__':
#
#     # 1、开启多进程
#     # 测试计算密集型
#     start_time = time.time()
#     list1 = []
#     for line in range(6):
#         p = Process(target=task1)
#         p.start()
#         list1.append(p)
#
#     for p in list1:
#         p.join()
#
#     end_time = time.time()
#
#     #消耗时间
#     print(f'多进程计算密集型消耗时间：{end_time - start_time}')
#     #多进程密集型消耗时间：1.4906916618347168
#
#     # 测试IO密集型
#     start_time = time.time()
#     list1 = []
#     for line in range(6):
#         p = Process(target=task2)
#         p.start()
#         list1.append(p)
#
#     for p in list1:
#         p.join()
#
#     end_time = time.time()
#
#     #消耗时间
#     print(f'多进程IO型消耗时间：{end_time - start_time}')
#
#
#
#
#     #2、开启多线程
#     #测试计算密集型
#     start_time = time.time()
#     list1 = []
#     for line in range(6):
#         t = Thread(target=task1)
#         t.start()
#         list1.append(t)
#
#     for t in list1:
#         t.join()
#
#     end_time = time.time()
#     print(f'多线程计算密集型消耗时间：{end_time - start_time}')
#     #多线程密集型消耗时间：0.41376233100891113
#
#
#     #测试IO密集型
#     start_time = time.time()
#     list1 = []
#     for line in range(6):
#         t = Thread(target=task2)
#         t.start()
#         list1.append(t)
#
#     for t in list1:
#         t.join()
#
#     end_time = time.time()
#     print(f'多线程IO密集型消耗时间：{end_time - start_time}')
#


# 计算密集型任务
def task1():
    # 计算1000000次 += 1
    i = 10
    for line in range(10000000):
        i += 1


# IO密集型任务
def task2():
    time.sleep(3)


if __name__ == '__main__':
    # 1、测试多进程:
    # 测试计算密集型
    start_time = time.time()
    list1 = []
    for line in range(6):
        p = Process(target=task1)
        p.start()
        list1.append(p)

    for p in list1:
        p.join()
    end_time = time.time()
    # 消耗时间: 5.33872389793396
    print(f'计算密集型消耗时间: {end_time - start_time}')

    # 测试IO密集型
    start_time = time.time()
    list1 = []
    for line in range(6):
        p = Process(target=task2)
        p.start()
        list1.append(p)

    for p in list1:
        p.join()
    end_time = time.time()
    # 消耗时间: 4.517091751098633
    print(f'IO密集型消耗时间: {end_time - start_time}')


    # 2、测试多线程:
    # 测试计算密集型
    start_time = time.time()
    list1 = []
    for line in range(6):
        p = Thread(target=task1)
        p.start()
        list1.append(p)

    for p in list1:
        p.join()
    end_time = time.time()
    # 消耗时间: 5.988943815231323
    print(f'计算密集型消耗时间: {end_time - start_time}')

    # 测试IO密集型
    start_time = time.time()
    list1 = []
    for line in range(6):
        p = Thread(target=task2)
        p.start()
        list1.append(p)

    for p in list1:
        p.join()
    end_time = time.time()
    # 消耗时间: 3.00256085395813
    print(f'IO密集型消耗: {end_time - start_time}')
   
结论：
   # 由1和3对比得：在计算密集型情况下使用多进程（多核的情况下多个CPU）
   # 由2和3对比得：在IO密集型情况下使用多线程（多核的情况下多个CPU）

   # 都使用多线程（单核单个CPU）

三、协程

• 演示

```python
'''
1、什么是协程？
- 进程：资源单位
- 线程：执行单位
- 协程：单线程下实现并发

    - 在IO密集型的情况下，使用协程能提高最高效率

    注意；协程不是任何单位，只是一个程序员YY出来的东西

    总结：多进程---> 多线程---> 让每一个线程都实现协程（单线程下实现并发）

    协程的目的：
        - 手动实现“遇到IO切换 + 保存状态” 去欺骗操作系统，让操作系统误以为没有IO操作，将CPU的执行权限给你

'''

import time

def task1():
time.sleep(1)

def task2():
time.sleep(3)

def task3():
time.sleep(5)

def task4():
time.sleep(7)

def task5():
time.sleep(9)

遇到IO切换（gevent） + 保存状态

from gevent import monkey #猴子补丁

monkey.patch_all() #监听所有的任务是否有IO操作
from gevent import spawn #spawn(任务)

from gevent import joinall
import time

def task1():
print('start from task1....')
time.sleep(1)
print('end from task1....')

def task2():
print('start from task2....')
time.sleep(1)
print('end from task2....')

def task3():
print('start from task3....')
time.sleep(1)
print('end from task3....')

if name == 'main':

start_time = time.time()
sp1 = spawn(task1)
sp2 = spawn(task2)
sp3 = spawn(task3)

# sp1.start()
# sp2.start()
# sp3.start()
# sp1.join()
# sp2.join()
# sp3.join()
joinall([sp1, sp2, sp3])  #等同于上面六步

end_time = time.time()

print(f'消耗时间:{end_time - start_time}')

start from task1....

start from task2....

start from task3....

end from task1....

end from task2....

end from task3....

消耗时间:1.0085582733154297

四、tcp服务端实现并发

• 代码

- client 文件
import socket

client = socket.socket()

client.connect(
    ('127.0.0.1', 9000)
)

print('Client is run....')
while True:
    msg = input('客户端>>:').encode('utf-8')
    client.send(msg)

    data = client.recv(1024)
    print(data)


- sever 文件
import socket
from concurrent.futures import ThreadPoolExecutor

server = socket.socket()

server.bind(
    ('127.0.0.1', 9000)
)

server.listen(5)


# 1.封装成一个函数
def run(conn):
    while True:
        try:
            data = conn.recv(1024)
            if len(data) == 0:
                break
            print(data.decode('utf-8'))
            conn.send('111'.encode('utf-8'))

        except Exception as e:
            break

    conn.close()


if __name__ == '__main__':
    print('Server is run....')
    pool = ThreadPoolExecutor(50)
    while True:
        conn, addr = server.accept()
        print(addr)
        pool.submit(run, conn)






感谢： 亚峰牛皮