线程
参考
https://www.cnblogs.com/clschao/articles/9684694.html
https://www.cnblogs.com/Eva-J/articles/8306047.html
操作系统线程理论
线程概念的引入背景
为什么有线程
进程只能在一个时间干一件事，如果想同时干两件事或多件事，进程就无能为力了。
进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。
线程的出现
60年代，在OS中能拥有资源和独立运行的基本单位是进程，然而随着计算机技术的发展，进程出现了很多弊端，一是由于进程是资源拥有者，创建、撤消与切换存在较大的时空开销，因此需要引入轻型进程；二是由于对称多处理机（SMP）出现，可以满足多个运行单位，而多个进程并行开销过大。因此在80年代，出现了能独立运行的基本单位——线程（Threads）。
注意：进程是资源分配的最小单位,线程是CPU调度的最小单位.每一个进程中至少有一个线程
进程与线程的区别
- 地址空间和其它资源（如打开文件）：进程间相互独立，同一进程的各线程间共享。某进程内的线程在其它进程不可见.
- 通信：进程间通信IPC，线程间可以直接读写进程数据段（如全局变量）来进行通信——需要进程同步和互斥手段的辅助，以保证数据的一致性。
- 调度和切换：线程上下文切换比进程上下文切换要快得多。
- 在多线程操作系统中，进程不是一个可执行的实体。
线程的特点
在多线程的操作系统中，通常是在一个进程中包括多个线程，每个线程都是作为利用CPU的基本单位，是花费最小开销的实体。线程具有以下属性。
- 轻型实体
线程中的实体基本上不拥有系统资源，只是有一点必不可少的、能保证独立运行的资源。
线程的实体包括程序、数据和TCB。线程是的基本单位，因而也是独立调度和分派的基本单位。由于线程很“轻”，故线程的切换非常迅速且开销小（在同一进程中的）。 - 共享进程资源
线程在同一进程中的各个线程，都可以共享该进程所拥有的资源，这首先表现在：所有线程都具有相同的进程id，这意味着，线程可以访问该进程的每一个内存资源；此外，还可以访问进程所拥有的已打开文件、定时器、信号量机构等。由于同一个进程内的线程共享内存和文件，所以线程之间互相通信不必调用内核。 - 可以并发执行
在一个进程中的多个线程之间，可以并发执行，甚至允许在一个进程中所有线程都能并发执行；同样，不同进程中的线程也能并发执行，充分利用和发挥了处理机与外围设备并行工作的能力。
用户级线程和内核级线程
线程的实现可以分为两类：用户级线程(User-Level Thread)和内核线线程(Kernel-Level Thread)，后者又称为内核支持的线程或轻量级进程。在多线程操作系统中，各个系统的实现方式并不相同，在有的系统中实现了用户级线程，有的系统中实现了内核级线程。
用户级线程
内核的切换由用户态程序自己控制内核切换,不需要内核干涉，少了进出内核态的消耗，但不能很好的利用多核Cpu。
在用户空间模拟操作系统对进程的调度，来调用一个进程中的线程，每个进程中都会有一个运行时系统，用来调度线程。此时当该进程获取cpu时，进程内再调度出一个线程去执行，同一时刻只有一个线程执行。
内核级线程
内核级线程:切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态；可以很好的利用smp，即利用多核cpu。windows线程就是这样的。
用户级与内核级线程的对比
用户级线程和内核级线程的区别
- 内核支持线程是OS内核可感知的，而用户级线程是OS内核不可感知的。
- 用户级线程的创建、撤消和调度不需要OS内核的支持，是在语言（如Java）这一级处理的；而内核支持线程的创建、撤消和调度都需OS内核提供支持，而且与进程的创建、撤消和调度大体是相同的。
- 用户级线程执行系统调用指令时将导致其所属进程被中断，而内核支持线程执行系统调用指令时，只导致该线程被中断。
- 在只有用户级线程的系统内，CPU调度还是以进程为单位，处于运行状态的进程中的多个线程，由用户程序控制线程的轮换运行；在有内核支持线程的系统内，CPU调度则以线程为单位，由OS的线程调度程序负责线程的调度。
- 用户级线程的程序实体是运行在用户态下的程序，而内核支持线程的程序实体则是可以运行在任何状态下的程序。
内核线程的优缺点
优点：当有多个处理机时，一个进程的多个线程可以同时执行。
缺点：由内核进行调度。
用户线程的优缺点
优点：
- 线程的调度不需要内核直接参与，控制简单。
- 可以在不支持线程的操作系统中实现。
- 创建和销毁线程、线程切换代价等线程管理的代价比内核线程少得多。
- 允许每个进程定制自己的调度算法，线程管理比较灵活。
- 线程能够利用的表空间和堆栈空间比内核级线程多。
- 同一进程中只能同时有一个线程在运行，如果有一个线程使用了系统调用而阻塞，那么整个进程都会被挂起。另外，页面失效也会产生同样的问题。
缺点：
资源调度按照进程进行，多个处理机下，同一个进程中的线程只能在同一个处理机下分时复用
线程和python
理论知识
GIL全局解释器锁
Python代码的执行由Python虚拟机(也叫解释器主循环)来控制。Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Python 解释器中可以“运行”多个线程，但在任意时刻只有一个线程在解释器中运行。
Python虚拟机的访问由全局解释器锁(GIL)来控制，正是这个锁能保证同一时刻只有一个线程在运行。
在调用外部代码(如 C/C++扩展函数)的时候，GIL将会被锁定，直到这个函数结束为止(由于在这期间没有Python的字节码被运行，所以不会做线程切换)编写扩展的程序员可以主动解锁GIL。
详情请转
线程模块选择
首选threading模块。
Python提供了几个用于多线程编程的模块，包括thread、threading和Queue等。thread和threading模块允许程序员创建和管理线程。thread模块提供了基本的线程和锁的支持，threading提供了更高级别、功能更强的线程管理的功能。Queue模块允许用户创建一个可以用于多个线程之间共享数据的队列数据结构。
避免使用thread模块，因为更高级别的threading模块更为先进，对线程的支持更为完善，而且使用thread模块里的属性有可能会与threading出现冲突；其次低级别的thread模块的同步原语很少(实际上只有一个)，而threading模块则有很多；再者，thread模块中当主线程结束时，所有的线程都会被强制结束掉，没有警告也不会有正常的清除工作，至少threading模块能确保重要的子线程退出后进程才退出。
thread模块不支持守护线程，当主线程退出时，所有的子线程不论它们是否还在工作，都会被强行退出。而threading模块支持守护线程，守护线程一般是一个等待客户请求的服务器，如果没有客户提出请求它就在那等着，如果设定一个线程为守护线程，就表示这个线程是不重要的，在进程退出的时候，不用等待这个线程退出。
threading模块
multiprocess模块的完全模仿了threading模块的接口，二者在使用层面，有很大的相似性。
线程的创建
两种方式
- 直接调用
- 通过类的继承
两种创建方式
# 直接调用
from threading import Thread
import time
def func(n):
time.sleep(1)
print(n)
if __name__ == '__main__':
t = Thread(target=func, args=(1,))
t.start()
t.join()
print('主线程')
# 通过类的继承
from threading import Thread
class MyThread(Thread):
def __init__(self, n):
super().__init__()
self.n = n
def run(self):
print(self.n)
if __name__ == '__main__':
t = MyThread(1)
t.start()
t.join()
print('主线程')
守护线程
守护线程
主线程代码结束后，还要等待非守护线程的执行完毕，守护线程这个时候还存在。
守护进程
主进程代码结束后，等待非守护进程，为他们清理部分资源(否则就变成了孤儿进程)，守护进程跟着主进程结束而结束。
守护线程
from threading import Thread
from multiprocessing import Process
import time
def func1(n):
time.sleep(3)
print(n)
def func2(n):
time.sleep(5)
print(n)
if __name__ == '__main__':
# p1 = Process(target=func1, args=('子进程1号',))
# p1.start()
# p2 = Process(target=func2, args=('子进程2号',))
# p2.daemon = Thread
# p2.start()
t1 = Thread(target=func1, args=('子线程1号',))
t1.start()
t2 = Thread(target=func2, args=('子线程2号',))
t2.daemon = Thread
t2.start()
print('主进程/线程')
进程/线程等待子进程/线程
from multiprocessing import Process
from threading import Thread
import time
def func(n):
time.sleep(3)
print(n)
if __name__ == '__main__':
# 主进程等待子进程，是给子进程收尸，防止其成为孤儿进程
# p = Process(target=func, args=(1,))
# p.start()
# 主线程等待子线程的任务全部执行完毕
t = Thread(target=func, args=(1,))
t.start()
print('主线程/进程')
锁
同步锁
死锁与递归锁
所谓死锁： 是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程，如下就是死锁
解决方法，递归锁，在Python中为了支持在同一线程中多次请求同一资源，python提供了可重入锁RLock。
这个RLock内部维护着一个Lock和一个counter变量，counter记录了acquire的次数，从而使得资源可以被多次require。直到一个线程所有的acquire都被release，其他的线程才能获得资源。
这可能导致数据不安全，当两个线程都以为自己拿到了锁，去修改数据，数据就会不安全。
同步锁，互斥锁，解决数据安全性
from threading import Thread, Lock
import time
# 模拟多线程数据不安全
num = 100
def func():
global num
tmp = num
tmp -= 1
time.sleep(0.1)
num = tmp
if __name__ == '__main__':
t_list = []
for i in range(10):
t = Thread(target=func)
t.start()
t_list.append(t)
for i in t_list:
i.join()
print(num)
# 加锁，数据安全
from threading import Thread, Lock
import time
num = 100
def func(lock):
global num
lock.acquire()
tmp = num
tmp -= 1
time.sleep(0.1)
num = tmp
lock.release()
if __name__ == '__main__':
lock = Lock()
t_list = []
for i in range(10):
t = Thread(target=func, args=(lock,))
t.start()
t_list.append(t)
for i in t_list:
i.join()
print(num)
死锁，递归锁
from threading import Thread, Lock,RLock
import time
class MyThread(Thread):
def __init__(self, lock_a, lock_b):
super().__init__()
self.lock_a = lock_a
self.lock_b = lock_b
def func1(self):
self.lock_a.acquire()
print('func1\t拿到a锁')
self.lock_b.acquire()
print('func1\t拿到b锁')
print('func1')
self.lock_b.release()
self.lock_a.release()
def func2(self):
self.lock_b.acquire()
print('func2\t拿到b锁')
time.sleep(0.1)
self.lock_a.acquire()
print('func2\t拿到a锁')
print('func2')
self.lock_a.release()
self.lock_b.release()
def run(self):
self.func1()
self.func2()
if __name__ == '__main__':
# 使用两个互斥锁，互相争夺资源会产生死锁
# lock_a = Lock()
# lock_b = Lock()
# 递归锁，可重入锁机制，使得资源可以被多次require
lock_a = lock_b = RLock()
t = MyThread(lock_a, lock_b)
t.start()
t2 = MyThread(lock_a, lock_b)
t2.start()
print('主线程')
信号量
信号量以内的线程是异步执行，之外的是同步执行。
Semaphore
管理一个内置的计数器，
每当调用acquire()时内置计数器-1；
调用release() 时内置计数器+1；
计数器不能小于0；当计数器为0时，acquire()将阻塞线程直到其他线程调用release()。
信号量与进程池
进程池，是来回来回就是那几个进程来工作，信号量，是允许最多同时有多少个进程
threading.Semaphore示例代码
from threading import Thread, Semaphore
import time
def func(sem):
sem.acquire()
time.sleep(1)
print('子线程')
sem.release()
if __name__ == '__main__':
sem = Semaphore(4)
for i in range(10):
t = Thread(target=func, args=(sem,))
t.start()
print('主线程')
事件
同进程的一样。
线程的一个关键特性是每个线程都是独立运行且状态不可预测。如果程序中的其他线程需要通过判断某个线程的状态来确定自己下一步的操作,这时线程同步问题就会变得非常棘手。为了解决这些问题,我们需要使用threading库中的Event对象。 对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行
方法介绍
event.isSet()：返回event的状态值；
event.wait()：如果 event.isSet()==False将阻塞线程；
event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度；
event.clear()：恢复event的状态值为False。
条件
使得线程等待，只有满足某条件时，才释放n个线程
Python提供的Condition对象提供了对复杂线程同步问题的支持。Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。线程首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问题。
threading.Condition示例
import threading
def run(n):
con.acquire()
con.wait()
print("run the thread: %s" % n)
con.release()
if __name__ == '__main__':
con = threading.Condition()
for i in range(10):
t = threading.Thread(target=run, args=(i,))
t.start()
while True:
inp = input('>>>')
if inp == 'q':
break
con.acquire()
con.notify(int(inp))
con.release()
print('****')
定时器
定时器，指定n秒后执行某个操作
threading.Timer示例
import threading
def func():
print('in function')
if __name__ == '__main__':
t = threading.Timer(1, func)
t.start()
线程队列
queue队列 ：使用import queue，用法与进程Queue一样
- FIFO先进先出队列
- LIFO后进先出队列
- Priority优先级队列，存储数据时可设置优先级的队列
queue三种队列
import queue
# FIFO 先进先出队列
# q = queue.Queue()
# q.put('first')
# q.put('second')
# q.put('third') # 队列满了会阻塞住
# q.put_nowait('233') # 队列满了会报错，可以通过try搞定
# print(q.get()) # 队列空了，会阻塞
# print(q.get())
# print(q.get())
# q.get_nowait() # 没有数据会报错，可以通过try解决
# FILO 后进先出队列，类似于栈
# q = queue.LifoQueue()
# q.put('first')
# q.put('second')
# q.put('third')
# print(q.get())
# print(q.get())
# print(q.get())
# 优先级队列
# 会根据放入队列的数据进行排序(ASCII码，升序)，优先选出最小的。
# 放入队列的数据，数据类型必须相同，否则报错 TypeError
q = queue.PriorityQueue()
q.put((-1, 'first'))
q.put((0, 'second'))
q.put((33, 'third'))
# q.put(99) # TypeError: '<' not supported between instances of 'int' and 'tuple'
print(q.get())
print(q.get())
print(q.get())
Python标准模块--concurrent.futures
Python标准模块，concurrent.futures实现线程池、进程池。
介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor：线程池，提供异步调用
ProcessPoolExecutor: 进程池，提供异步调用
Both implement the same interface, which is defined by the abstract Executor class.
基本方法
submit(fn, *args, **kwargs)
异步提交任务
map(func, *iterables, timeout=None, chunksize=1)
取代for循环submit的操作
shutdown(wait=True)
相当于进程池的pool.close()+pool.join()操作
wait=True，等待池内所有任务执行完毕回收完资源后才继续
wait=False，立即返回，并不会等待池内的任务执行完毕
但不管wait参数为何值，整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前
result(timeout=None)
取得结果
add_done_callback(fn)
回调函数
map用法
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
from threading import current_thread
import time
def func(n):
time.sleep(1)
print(n, current_thread().ident)
return n ** 2
if __name__ == '__main__':
thread_pool = ThreadPoolExecutor(max_workers=4)
map_res = thread_pool.map(func, range(10)) # 异步执行，map自带join功能
print([i for i in map_res])
线程池、进程池、回调函数示例
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
from threading import current_thread
import time
def func(n):
time.sleep(1)
return n ** 2
def func2(n):
# print(n)
print(n.result())
if __name__ == '__main__':
thread_pool = ThreadPoolExecutor(max_workers=4)
# process_pool = ProcessPoolExecutor(max_workers=4)
for i in range(10):
res_thread = thread_pool.submit(func, i).add_done_callback(func2) # 异步提交了10个任务
# 在这里 回调函数的执行者是 任意空闲线程
线程池其他方法
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
from threading import current_thread
import time
def func(n):
time.sleep(1)
return n ** 2
if __name__ == '__main__':
thread_pool = ThreadPoolExecutor(max_workers=4)
# process_pool = ProcessPoolExecutor(max_workers=4)
thread_list = []
for i in range(10):
res_thread = thread_pool.submit(func, i) # 异步提交了10个任务
thread_list.append(res_thread)
# res_thread.result() # 和get一样
# thread_pool.shutdown() # 等同于 close() + join()
print([i.result() for i in thread_list])
