Python 高级编程之并发与多线程(三)

一、概述

并发与多线程在任何编程语言中都是非常常用的,也是非常重要的,接下来就细讲python中的并发与多线程原理和实践,如果想了解python基础部分,可以参考我以下几篇文章:

在这里插入图片描述

二、并发与并行原理

1)并行

当系统有一个以上CPU时,则进程的操作有可能非并发。当一个CPU执行一个进程时,另一个CPU可以执行另一个进程,两个进程互不抢占CPU资源,可以同时进行,这种方式我们称之为并行

2)并发

当有多个进程在操作时,如果系统只有一个CPU,则它根本不可能真正同时执行一个以上的进程,说白了就是多个进程同时由同一个CPU执行,并发只能把CPU运行时间划分成若干个时间段,再将时间段分配给各个进程执行,在一个时间段的进程代码运行时,其它进程处于挂起状,这种方式我们称之为并发

3)并发和并行区别

  • 并发和并行是即相似又有区别的两个概念,并行是指两个或者多个事件在同一时刻同时执行,而并发是指两个或多个事件通过时间片轮流被执行
  • 在多道程序环境下,并发性是指在一段时间内宏观上有多个程序在同时运行,但在单核CPU中,同一时刻仅能有一道程序执行,故微观上这些程序只能是分时地交替执行
  • 倘若在计算机中有多个CPU,则这些可以并发执行的程序便可被分配到多个处理机上,实现并行执行,即利用每个处理机来处理一个可并发执行的程序,这样,多个程序便可以同时执行。

三、Python 多线程

1)进程与线程关系

  • 线程——线程是一个基本的CPU执行单元。它必须依托于进程存活。一个线程是一个execution context(执行上下文),即一个CPU执行时所需要的一串指令。
  • 进程——进程是指一个程序在给定数据集合上的一次执行过程,是系统进行资源分配和运行调用的独立单位。可以简单地理解为操作系统中正在执行的程序。也就说,每个应用程序都有一个自己的进程。
  • 每一个进程启动时都会最先产生一个线程,即主线程。然后主线程会再创建其他的子线程。即进程由一个或多个线程组成。

两者的区别

  • 线程必须在某个进程中执行。
  • 一个进程可包含多个线程,其中有且只有一个主线程。
  • 多线程共享同个地址空间、打开的文件以及其他资源。
  • 多进程共享物理内存、磁盘、打印机以及其他资源。

线程的因作用可以划分为不同的类型,大致可分为:

  • 主线程
  • 子线程
  • 守护线程(后台线程)
  • 前台线程

2)Python 多线程GIL介绍

其他语言,CPU是多核时是支持多个线程同时执行。但在Python中,无论是单核还是多核,同时只能由一个线程在执行。其根源是GIL的存在。GIL的全称是Global Interpreter Lock(全局解释器锁),来源是Python设计之初的考虑,为了数据安全所做的决定。某个线程想要执行,必须先拿到GIL,我们可以把GIL看作是“通行证”,并且在一个Python进程中,GIL只有一个。拿不到通行证的线程,就不允许进入CPU执行。

而目前Python的解释器有多种,例如:

  • CPython:CPython是用C语言实现的Python解释器。 作为官方实现,它是最广泛使用的Python解释器。

  • PyPy:PyPy是用RPython实现的解释器。RPython是Python的子集, 具有静态类型。这个解释器的特点是即时编译,支持多重后端(C, CLI, JVM)。PyPy旨在提高性能,同时保持最大兼容性(参考CPython的实现)。

  • Jython:Jython是一个将Python代码编译成Java字节码的实现,运行在JVM (Java Virtual Machine) 上。另外,它可以像是用Python模块一样,导入并使用任何Java类。

  • IronPython:IronPython是一个针对 .NET 框架的Python实现。它可以用Python和 .NET framework的库,也能将Python代码暴露给 .NET框架中的其他语言。

重点注意事项:

  • GIL只在CPython中才有,而在PyPy和Jython中是没有GIL的。

  • 每次释放GIL锁,线程进行锁竞争、切换线程,会消耗资源。这就导致打印线程执行时长,会发现耗时更长的原因。

  • 并且由于GIL锁存在,Python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行),这就是为什么在多核CPU上,Python 的多线程效率并不高的根本原因。

3)Python 创建多线程

Python提供两个模块进行多线程的操作,分别是threadthreading(常用),前者是比较低级的模块,用于更底层的操作,一般应用级别的开发不常用。

1、thread

直接使用threading.Thread()。示例如下:

import threading
 
# 这个函数名可随便定义
def run(n):
    print("current task:", n)
 
if __name__ == "__main__":
    t1 = threading.Thread(target=run, args=("thread 1",))
    t2 = threading.Thread(target=run, args=("thread 2",))
    t1.start()
    t2.start()

2、threading(常用)

继承threading.Thread来自定义线程类,重写run方法。示例如下:

import threading
 
class MyThread(threading.Thread):
    def __init__(self, n):
        super(MyThread, self).__init__()  # 重构run函数必须要写
        self.n = n
 
    def run(self):
        print("current task:", self.n)
 
if __name__ == "__main__":
    t1 = MyThread("thread 1")
    t2 = MyThread("thread 2")
 
    t1.start()
    t2.start()

4)守护线程

守护线程就是主线程执行完,子线程不管有没有执行完,都会跟着主线程结束。早期python版本可以这样设置:setDaemon(True),新版本这样设置:t.daemon=True,默认为False。

示例如下:

import threading
import time

def count(n, c):
    while c > 0:
        c -= 1
        print("线程:{} 在执行\n".format(n))
        time.sleep(1)

if __name__ == "__main__":
    t1 = threading.Thread(target=count, args=("t1", 3))
    t2 = threading.Thread(target=count, args=("t2", 3))
    t1.daemon = True
    t2.daemon = True
    t1.start()
    t2.start()
    # 将 t1 和 t2 加入到主线程中
    #t1.join()
    #t2.join()
    # 主线程
    print("主线程执行!")

执行结果如下:

线程:t1 在执行

线程:t2 在执行
主线程执行!

发现子线程并没有执行完就结束了。

5)线程合并(join)

join函数执行顺序是逐个执行每个线程,执行完毕后继续往下执行。主线程结束后,子线程还在运行,join函数使得主线程等到子线程结束时才退出。示例如下:

import threading
import time

def count(n, c):
    while c > 0:
        c -= 1
        print("线程:{} 在执行\n".format(n))
        time.sleep(1)

if __name__ == "__main__":
    t1 = threading.Thread(target=count, args=("t1", 3))
    t2 = threading.Thread(target=count, args=("t2", 3))
    t1.start()
    t2.start()
    # 将 t1 和 t2 加入到主线程中
    #t1.join()
    #t2.join()
    # 主线程
    print("主线程执行!")

先来看把join去掉之后的输出效果如下:

主线程执行!
线程:t1 在执行
线程:t2 在执行


线程:t1 在执行
线程:t2 在执行


线程:t1 在执行
线程:t2 在执行

加上join之后,效果如下:

线程:t1 在执行
线程:t2 在执行


线程:t2 在执行
线程:t1 在执行


线程:t1 在执行
线程:t2 在执行


主线程执行!

【结论】

  • 守护线程(t1.daemon)——就是主线程结束,子线程不管有没有执行完都会跟着主线程结束。
  • 线程合并(join)——主线程会等待所有子线程执行完之后再继续持续主线程。

6)线程同步与互斥锁

线程之间数据共享的。当多个线程对某一个共享数据进行操作时,就需要考虑到线程安全问题。threading模块中定义了Lock 类,提供了互斥锁的功能来保证多线程情况下数据的正确性。

用法的基本步骤:

#创建锁
mutex = threading.Lock()
#锁定
mutex.acquire([timeout])
#释放
mutex.release()

其中,锁定方法acquire可以有一个超时时间的可选参数timeout。如果设定了timeout,则在超时后通过返回值可以判断是否得到了锁,从而可以进行一些其他的处理。具体用法见示例代码:

import threading
import time
 
num = 0
mutex = threading.Lock()
 
class MyThread(threading.Thread):
    def run(self):
        global num 
        time.sleep(1)
 
        if mutex.acquire(1):  
            num = num + 1
            msg = self.name + ': num value is ' + str(num)
            print(msg)
            mutex.release()
 
if __name__ == '__main__':
    for i in range(5):
        t = MyThread()
        t.start()

输出结果:

Thread-3: num value is 1
Thread-2: num value is 2
Thread-5: num value is 3
Thread-1: num value is 4
Thread-4: num value is 5

7)可重入锁(递归锁)

RLock 可重入锁是指同一个锁可以多次被同一线程加锁而不会死锁。 实现可重入锁的目的是防止递归函数内的加锁行为,或者某些场景内无法获取锁A是否已经被加锁,这时如果不使用可重入锁就会对同一锁多次重复加锁,导致立即死锁

如果是一把互斥锁(threading.Lock()),那么下面的代码会发生堵塞:

import threading
lock = threading.Lock()

lock.acquire()
    for i in range(10):
        print('获取第二把锁')
        lock.acquire()
        print(f'test.......{i}')
        lock.release()
    lock.release()

输出结果:

获取第二把锁

发现执行上面的代码,会出现死锁状态。这是因为获取第二次锁的时候需要等待释放锁,导致死锁状态了。

再来看使用RLock的示例:

import threading

lock = threading.RLock()

lock.acquire()
for i in range(10):
    print('获取第二把锁')
    lock.acquire()
    print(f'test.......{i}')
    lock.release()
lock.release()

输出结果:

获取第二把锁
test.......0
获取第二把锁
test.......1
获取第二把锁
test.......2
获取第二把锁
test.......3
获取第二把锁
test.......4
获取第二把锁
test.......5
获取第二把锁
test.......6
获取第二把锁
test.......7
获取第二把锁
test.......8
获取第二把锁
test.......9

可能我们大部分人都知道,RLock其实底层维护了一个互斥锁和一个计数器,那互斥锁和计数器到底是如何工作的?

当一个线程通过acquire()获取一个锁时,首先会判断拥有锁的线程和调用acquire()的线程是否是同一个线程,如果是同一个线程,那么计数器+1,函数直接返回(return 1),如果两个线程不一致时,那么会通过调用底层锁(_allocate_lock())进行阻塞自己(也可能是获得锁)。

8)定时器

如果需要规定函数在多少秒后执行某个操作,需要用到Timer类。具体用法如下:

from threading import Timer

def show():
    print("Pyhton")

if __name__ == "__main__":
    # 指定一秒钟之后执行 show 函数
    # 等待1s执行show函数
    t = Timer(1, show)
    t.start()

四、Python 多进程

Python要进行多进程操作,需要用到muiltprocessing库,其中的Process类跟threading模块的Thread类很相似。所以直接看代码熟悉多进程。

1)创建多进程

1、直接使用Process

示例如下:

from multiprocessing import Process  
 
def show(name):
    print("Process name is " + name)
 
if __name__ == "__main__": 
    proc = Process(target=show, args=('subprocess',))  
    proc.start()  
    proc.join()

输出结果:

Process name is subprocess

2、继承Process来自定义进程类,重写run方法

示例如下:

from multiprocessing import Process
import time

class MyProcess(Process):
    def __init__(self, name):
        super(MyProcess, self).__init__()
        self.name = name

    def run(self):
        print('process name :' + str(self.name))
        time.sleep(1)

if __name__ == '__main__':
    for i in range(3):
        p = MyProcess(str(i))
        p.start()
        p.join()

输出结果:

process name :0
process name :1
process name :2

2)多进程通信

进程之间不共享数据的。如果进程之间需要进行通信,则要用到Queue模块或者Pipe模块来实现。

1、Queue

Queue是多进程安全的队列,可以实现多进程之间的数据传递。它主要有三个函数put()get()empty()

  • put()用以插入数据到队列中,put还有两个可选参数:blockedtimeout

    • 如果可选的参数block为True且timeout为空对象(默认的情况,阻塞调用,无超时)。
    • 如果timeout是个正整数,阻塞调用进程最多timeout秒,如果一直无空空间可用,抛出Full异常(带超时的阻塞调用)。
    • 如果block为False,如果有空闲空间可用将数据放入队列,否则立即抛出Full异常。
    • 其非阻塞版本为put_nowait等同于put(item, False)。
  • get()可以从队列读取并且删除一个元素。同样get有两个可选参数:blockedtimeout

    • 如果blocked为True(默认值),并且 timeout为正值,那么在等待时间内没有取到任何元素,会抛出Queue.Empty异常。
    • 如果blocked为False,有两种情况存在,如果Queue有一个值可用,则立即返回该值,否则,如果队列为空,则立即抛出Queue.Empty异常。
  • empty() 如果队列为空,返回True,反之返回False·
    示例如下:

from multiprocessing import Process, Queue
 
def put(queue):
    queue.put('Queue 用法')
 
if __name__ == '__main__':
    queue = Queue()
    pro = Process(target=put, args=(queue,))
    pro.start()
    print(queue.get())   
    pro.join()

2、Pipe

多进程还有一种数据传递方式叫做管道(Pipe),和Queue相类似。Pipe可以在进程之间创建一条管道,并返回元组(con1,con2)。其中,con1,con2表示管道两端的连接对象。这里要注意,必须在产生Process对象之前产生管道,具体用法如下:

  • send(obj):通过连接发送对象obj

  • recv():接收con2.send(obj)所发送的对象。如果没有消息可接收,recv方法会一直阻塞。如果接收的一端已经关闭连接,则抛出EOFError

  • close():关闭连接。如果con1被垃圾回收,将自动调用此方法。

  • fileno():返回连接使用的整数文件描述符

  • poll([timeout]):如果连接上的数据可用,返回True。timeout为指定等待的最长时限,若timeout缺省,方法立即返回结果,不再等待。若timeout值为None,则操作将无限制等待数据到来。

  • send_bytes(buffer[,offset[,size]]):通过连接发送字节数据缓冲区,buffer是支持缓冲区接口的任意对象,offset是缓冲区中的字节偏移量,size是要发生的字节数。结果以单条消息的形式发出,然后使用recv_bytes()进行接收。

from multiprocessing import Process, Pipe
 
def show(conn):
    conn.send('Pipe 用法')
    conn.close()
 
if __name__ == '__main__':
    parent_conn, child_conn = Pipe() 
    pro = Process(target=show, args=(child_conn,))
    pro.start()
    print(parent_conn.recv())   
    pro.join()

【温馨提示】调用Pipe()返回管道的两端的Connection,因此, Pipe仅仅适用于只有两个进程一读一写的单双工情况,也就是说信息是只向一个方向流动。例如电视、广播,看电视的人只能看,电视台是能播送电视节目。

【总结】

  • Pipe的读写效率要高于Queue。
  • 进程间的Pipe基于fork机制建立。
  • 当主进程创建Pipe的时候,Pipe的两个Connections连接的的都是主进程。
    当主进程创建子进程后,Connections也被拷贝了一份。此时有了4个Connections。
  • 此后,关闭主进程的一个Out Connection,关闭一个子进程的一个In Connection。那么就建立好了一个输入在主进程,输出在子进程的管道。

3)进程池

创建多个进程,我们不用傻傻地一个个去创建。我们可以使用Pool模块来搞定。Pool 常用的方法如下:

方法 含义
apply() 同步执行(串行)
apply_async() 异步执行(并行)
terminate() 立刻关闭进程池
join() 主进程等待所有子进程执行完毕。必须在close或terminate()之后使用
close() 等待所有进程结束后,才关闭进程池

示例如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import multiprocessing
import time
 
def func(msg):
    print("msg:", msg)
    time.sleep(3)
    print("end")
 
if __name__ == "__main__":
    # 维持执行的进程总数为processes,当一个进程执行完毕后会添加新的进程进去
    pool = multiprocessing.Pool(processes = 3)
    for i in range(5):
        msg = "hello %d" %(i)
        # 非阻塞式,子进程不影响主进程的执行,会直接运行到 pool.join()
        pool.apply_async(func, (msg, ))   
 
        # 阻塞式,先执行完子进程,再执行主进程
        # pool.apply(func, (msg, ))   
 
    print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    # 调用join之前,先调用close函数,否则会出错。
    pool.close()
    # 执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    pool.join()   
    print("Sub-process(es) done.")

输出结果:

Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~
msg: hello 0
msg: hello 1
msg: hello 2
end
msg: hello 3
end
msg: hello 4
end
end
end
Sub-process(es) done.
  • 如上,进程池Pool被创建出来后,即使实际需要创建的进程数远远大于进程池的最大上限,p.apply_async(test) 代码依旧会不停的执行,并不会停下等待;相当于向进程池提交了10个请求,会被放到一个队列中;
  • 当执行完p1 = Pool(5)这条代码后,5条进程已经被创建出来了,只是还没有为他们各自分配任务,也就是说,无论有多少任务,实际的进程数只有5条,计算机每次最多5条进程并行。
  • 当Pool中有进程任务执行完毕后,这条进程资源会被释放,pool会按先进先出的原则取出一个新的请求给空闲的进程继续执行;
  • 当Pool所有的进程任务完成后,会产生5个僵尸进程,如果主线程不结束,系统不会自动回收资源,需要调用join函数去回收。
  • join函数是主进程等待子进程结束回收系统资源的,如果没有join,主程序退出后不管子进程有没有结束都会被强制杀死;
  • 创建Pool池时,如果不指定进程最大数量,默认创建的进程数为系统的内核数量。

4)多线程和多进程如何选择?

在这个问题上,首先要看下你的程序是属于哪种类型的。一般分为两种:CPU密集型和I/O密集型。

  • CPU 密集型(计算型):程序比较偏重于计算,需要经常使用CPU来运算。例如科学计算的程序,机器学习的程序等。(最好使用进程,因为python现在同一时刻只能由一个线程在执行,具体原因看上面解释)

  • I/O 密集型:顾名思义就是程序需要频繁进行输入输出操作。爬虫程序就是典型的I/O密集型程序。(最好使用线程,因为涉及到网络、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少。)

五、Python 之 signal 模块

signal 模块负责python程序内部的信号处理;典型的操作包括信号处理函数、暂停并等待信号,以及定时发出SIGALRM等。

尽管signal是python中的模块,但是主要针对UNIX平台(比如Linux,MAC OS),而Windows内核中由于对信号机制的支持不充分,所以在Windows上的Python不能发挥信号系统的功能。

1)发生信号的原因

发送信号一般有两种原因:

  • 被动式:内核检测到一个系统事件.例如子进程退出会像父进程发送SIGCHLD信号.键盘按下control+c会发送SIGINT信号。
  • 主动式:通过系统调用kill来向指定进程发送信号。

2)信号处理方式

接收信号的进程对不同的信号有三种处理方式:

  • 指定处理函数
  • 忽略
  • 根据系统默认值处理, 大部分信号的默认处理是终止进程

3)规则信号

在这里插入图片描述
常用的信号:

signal.SIGHUP   # 连接挂断;
signal.SIGILL   # 非法指令;
signal.SIGINT   # 终止进程(ctrl+c);
signal.SIGTSTP  # 暂停进程(ctrl+z);
signal.SIGKILL  # 杀死进程(此信号不能被捕获或忽略);
signal.SIGQUIT  # 终端退出;
signal.SIGTERM  # 终止信号,软件终止信号;
signal.SIGALRM  # 闹钟信号,由signal.alarm()发起;
signal.SIGCONT  # 继续执行暂停进程;

【温馨提示】

  • 由于不同系统中同一个数值对应的信号类型不一样, 所以最好使用信号名称。
  • wnidows系统中只能调用 SIGABRT, SIGFPE, SIGILL, SIGINT, SIGSEGV, or SIGTERM
  • 信号的数值越小, 优先级越高。

3)signal.alarm(time)

  • 参数:time为时间参数

  • 功能:在time时间后,向进程自身发送SIGALRM信号

示例如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# 注意:在UNIX平台上执行,window没有alarm()方法
import signal
import time
 
signal.alarm(4)#4s后终止程序
 
while True:
    time.sleep(1)
    print("学习python中...")

输出结果:

学习python中...
学习python中...
学习python中...
Alarm clock

4)signal.pasue()

signal.pause() Wait until a signal arrives。让进程进程暂停,以等待信号(什么信号均可);也即阻塞进程进行接收到信号后使进程停止

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import signal
import time
 
time.sleep(1)
 
#阻塞等待信号的发生,如论什么信号都可以
signal.pause()
 
while True:
    time.sleep(1)
    print("学习python中...")

5)设置信号处理函数

signal.signal(sig, handler)

功能:按照handler制定的信号处理方案处理函数

参数:

  • sig:拟需处理的信号,处理信号只针对这一种信号起作用sig

  • hander:信号处理方案

在信号基础里提到,进程可以无视信号、可采取默认操作、还可自定义操作;当handler为下列函数时,将有如下操作:

  • SIG_IGN:信号被无视(ignore)或忽略

  • SIG_DFL:进程采用默认(default)行为处理

示例如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import signal
 
#6s后终止程序
signal.alarm(6)
 
#遇到SIGINT ctrl+c时,忽略SIG_IGN
signal.signal(signal.SIGINT,signal.SIG_IGN)
 
signal.pause()

运行后6s 打印出: Alarm clock
如果在运行中在键盘中输入CTRL+C也无济于事,此时输出结果 CCCCCCCC闹钟

原因分析:

  • signal.signal(signal.SIGINT, signal.SIG_IGN) 表示遇到信号SIGINT CTRL + C,时,忽略SIG_IGN该信号。所以在程序运行中从键盘输入ctrl+c(在终端上显示 ^C )时无效。

  • 当signal.alarm(6)计时6秒后,直接在终端上输出 “Alarm clock” 后退出。

  • signal.pause()是为了阻塞进程,等待信号。如果没有这句话,可以在程序中更变为:

while True:
    pass

进程中默认信号方式处理:

import signal
#6s后终止程序
signal.alarm(6)
signal.signal(signal.SIGALRM,signal.SIG_DFL)
signal.pause()

六、并发网络通信模型

常见网络模型:

  • 循环服务器模型——循环接受客户端请求,处理请求.同一时刻只能处理一个请求,处理完毕后在处理下一个。

    • 优势:实现简单,占用资源少服务器。
    • 缺点:没法同时处理多个客户端请求网。
    • 适用状况:处理的任务能够很快完成,客户端无需长期占用服务端程序.UDP比TCP更适合循环多线程。
  • 多进程/线程网络并发模型——每当一个客户端链接服务器,就建立一个新的进程/线程为该客户端服务,客户端退出时在销毁该进程/线程。

    • 优势:能同时知足多个客户端长期占有服务端需求,能够处理各类请求并发。
    • 缺点:资源消耗较大异步。
    • 适用状况:客户端同时链接量较少,须要处理行为较复杂场景。
  • IO并发模型——利用IO多路复用,异步IO等技术,同时处理多个客户端IO请求

    • 优势:资源消耗少,能同时高效处理多个IO行为。
    • 缺点:只能处理并发产生的IO事件,没法处理CPU计算函数。
    • 适用状况:HTTP请求,网络传输等都是IO行为。

1)基于fork的多进程网络并发模型

实现步骤:

  1. 建立监听套接字;
  2. 等待接受客户端请求;
  3. 客户端链接建立新的进程处理客户端请求;
  4. 原进程继续等待其余客户端链接;
  5. 若是客户端退出,则销毁对应的进程。

示例如下:

import socket
import signal
import os

# 全局变量
HOST = "127.0.0.1"
PORT = 9090
ADDR = (HOST, PORT)

def dispose(val):
    while True:
        data = val.recv(1024)
        if not data:
            break
        print(">>", data.decode())
        val.send(b"OK")
    val.close()

# 创建套接字
soc = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 设置端口立即重用
soc.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# 绑定套接字
soc.bind(ADDR)
# 设置监听
soc.listen(5)
# 处理僵尸进程
signal.signal(signal.SIGCHLD, signal.SIG_IGN)
print("Listen the port 9090...")
while True:
    # 循环处理客户端连接
    try:
        c, addr = soc.accept()
        print("Connect from", addr)
    except KeyboardInterrupt:
        os._exit(0)
    except Exception as e:
        print(e)
        continue
    # 创建子进程处理客户端事物
    pid = os.fork()
    if pid == 0:
        soc.close()
        # 客户端套接字处理具体事物
        dispose(c)
        # 处理完成销毁子进程
        os._exit(0)
    else:
        # 父进程等待其他用户连接不需要和子进程通信
        c.close()

2)基于threading的多线程网络并发

实现步骤

  1. 建立监听套接字;
  2. 等待接收客户端请求;
  3. 客户端链接建立新的线程处理客户端请求;
  4. 主线程继续等待其余客户端链接;
  5. 若是客户端退出,则对应分支线程退出。

示例如下:

from socket import *
from threading import Thread
import sys

# 创建监听套接字
HOST = '0.0.0.0'
PORT = 8888
ADDR = (HOST,PORT)

# 处理客户端请求
def handle(c):

  while True:
    data = c.recv(1024)
    if not data:
      break
    print(data.decode())
    c.send(b'OK')
  c.close()

s = socket()  # tcp套接字
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind(ADDR)
s.listen(3)

print("Listen the port %d..."%PORT)

# 循环等待客户端连接
while True:
  try:
    c,addr = s.accept()
  except KeyboardInterrupt:
    sys.exit("服务器退出")
  except Exception as e:
    print(e)
    continue
    
  # 创建线程处理客户端请求
  t = Thread(target=handle, args=(c,))
  t.setDaemon(True)   # 父进程结束则所有进程终止
  t.start()

文章篇幅有点长,上面的示例用到了socket,等到讲到socket再详细解释,socket就放到下篇文章介绍了,请小伙伴耐心等待~


Python 高级编程之并发与多线程就先介绍到这里,有疑问的小伙伴欢迎给我留言,后续会持续更新相关技术文章,也可关注我的公众号【大数据与云原生技术分享】深入技术交流~

posted @ 2023-02-06 22:20  大数据老司机  阅读(716)  评论(0编辑  收藏  举报