网络IO模型
一、阻塞IO模型
阻塞IO基于socket程序
原理:
① recv接收数据时,不是直接接收数据,而是程序将系统调用的命令发送到操作系统
② 当操作系统收到接收数据的请求,若此时无数据,操作系统会继续等待,处于等待数据阶段(wait for data阶段),这个阶段相对漫长
③ 当数据来了,操作系统会拷贝数据(copy data 阶段),从内核copy到内存
④ 当操作系统copy结束后,程序就能获取到recv的数据
阻塞IO模型都会经历两个阶段
wait for data 阶段 阻塞
copy data 阶段 阻塞
存在的问题:一旦阻塞不能执行其他的任务
二、非阻塞IO模型
特点:
① 选择性阻塞,可以执行其他任务
② 没有并发编程的机制,是一个同步的程序
③ 由于非阻塞的特点,程序不会在某一个连接recv或者sk.accept上进行阻塞,由更多的时间来做信息的收发,用一条线程实现并发的效果
① 程序发起recv,进行系统调用
② 操作系统接收命令后,若此时无数据,操作系统会返回到程序
③ 当有数据时,操作系统从内核copy到内存里
④ 拷贝结束后,程序会接收到数据
缺点:高速运行,占用太多的CPU导致资源浪费,给CPU造成了很大的负担
程序模拟
# 非阻塞IO模型
import socket
sk = socket.socket()
sk.bind(('127.0.0.1',9000))
sk.setblocking(False) # 设置socket server为非阻塞
sk.listen()
conn_lis = [] # 链接的列表
del_lis = [] # 断开链接的列表
while 1:
try:
conn,addr = sk.accept()
conn_lis.append(conn)
except BlockingIOError:
for conn in conn_lis:
try:
conn.send(b'hello')
print(conn.recv(1024))
except (NameError,BlockingIOError):pass
except ConnectionResetError: # 客户端端口连接后
conn.close() # 关闭链接
del_lis.append(conn) # 添加到断开链接的列表
for del_conn in del_lis: # 从链接列表里删除断开的链接
conn_lis.remove(del_conn)
del_lis.clear() # 清空断开链接的列表
三、IO多路复用模型
原理:非阻塞的情况下加上代理
代理是IO多路复用机制提供的代理,操作系统提供IO多路复用的机制,提供了一个模块select
select 没模块用来操作系统中的select(IO多路复用)机制
select.select(rlist,wlist,xlist) # 按位置传参,传入列表
rlist 读
wlist 写
xlist 特殊的条件
① 程序有一个代理(代替conn),代理进行系统调用,向操作系统发出命令,询问是否有数据
② 此时操作系统没数据,操作系统一直等待数据,代理会一直阻塞
③ 当有数据来了,数据准备好了,通知被代理的对象,conn收到信息,conn发起recv
④ 此操作系统copy数据,操作系统进入copy数据阶段
⑤ copy完成,recv拿到数据
程序
import select
import socket
sk = socket.socket()
sk.bind(('127.0.0.1',9000))
sk.setblocking(False)
sk.listen()
r_lis = [sk] # 存的是socket对象
while 1:
r_l,_,_ = select.select(r_lis,[],[]) # 按位置参数,不需要的参数要传入空列表
for item in r_l:
if item is sk: # 判断是否有链接
conn,addr = sk.accept()
r_lis.append(conn)
else:
try:
print((item.recv(1024)).decode()) # conn有消息接收
item.send(b'hello')
except ConnectionResetError: # 客户端断开链接
item.close() # 关闭链接conn
r_lis.remove(item)
IO多路复用是操作系统的工具,模块 select、poll、epoll都是发挥代理的作用,进行监听。但在windows上只有select模块,而在mac/linux系统上,三种机制并存。
select的底层是操作系统在做轮询,有监听对象个数的限制,并且随着监听对象的个数越来越多,效率越来越低
poll 跟 select 一样,但监听的个数比 select 要多
epoll 给每一个要监听的对象都绑定了一个回调函数,数据来了直接调用对象,不再受到个数增加而降低效率的影响
sockserver 底层使用了IO多路复用 + threading线程实现的
selectors模块,在不同的系统上进行IO多路复用机制的自动筛选
IO多路复用的好处:多个conn使用一个代理,整体的程序显得不忙碌,既能实现并发,又能节省资源
四、异步IO模型
不需要做任何操作,直接发指令即可
过程:程序发起信息,操作系统立即给反应,操作系统一直在监听,当数据来了,会直接将数据放到内存中去,程序可以直接去内存读取
但是python暂时没有对应的模块去使用异步IO
等待数据阶段和拷贝数据阶段都不需要用户处理
所有的操作都由操作系统替你完成
copy数据阶段,只有异步IO是不需要阻塞的