进程、线程、协程

多任务:

计算机的核心是CPU,承担了所有的计算任务。一个CPU在一个时间切片里只能运行一个程序。

多任务的目的:提升程序的执行效率,更充分利用cpu的资源

并行:当任务数小于或者等于cpu核数时,每一个任务都有对应的cpu来处理执行,即任务真的是一起执行的

并发:当任务数多于cpu核数,通过操作系统的各种任务调度算法,实现用多个任务串行执行(实际上总有一些任务不在执行,因为切换任务的速度相当快,看上去像一起执行而已)

运行的程序即进程,进程包含线程(>=1),线程包含协程(>=1)

切换开销:进程>线程>协程(并发量更高)

区别:

进程:多进程利用多核CPU完成任务,是操作系统资源分配的最小单位,进程拥有自己独立的内存空间,所以进程间数据不共享,进程之间的通信由操作系统传递,导致通讯效率低,切换开销大,创建或销毁进程时系统开销大

线程:是CPU调度的最小单位,所有线程共享进程的内存空间,通讯效率高,切换开销小,但共享意味着竞争=>GIL(CPython全局解释器锁,同时只能运行一个线程,无法利用多核 CPU),在I/O阻塞的时候,解释器会释放GIL

协程:一个可以挂起的函数,协程的调度完全由用户控制,用函数切换,开销极小。genvent,monkey.patchall自动捕捉耗时点

场景:

线程,协程:IO密集(网络IO、磁盘IO、数据库IO)大量时间花在数据传输

进程:连续密集的计算(C10K)大量时间花在计算

一般开发中:多进程(cpu的核数)+多协程

业余时间用过多线程写爬虫,提升效率=》获取所有url,并发爬取

在多个用户同时发起对同一个商品的下单请求时,会出现资源竞争问题,导致库存的最终结果出现异常=》乐观锁

进程池:

线程池:

协程池:

posted @ 2021-02-04 22:52  涛子17180  阅读(56)  评论(0编辑  收藏  举报