day10-epoll IO多路复用实现单线程支持上万并发代码实例
select的不足
尽管select用起来挺爽，跨平台的特性。但是select还是存在一些问题。select需要遍历监视的文件描述符，并且这个描述符的数组还有最大的限制。随着文件描述符数量的增长，用户态和内核的地址空间的复制所引发的开销也会线性增长。即使监视的文件描述符长时间不活跃了，select还是会线性扫描。
为了解决这些问题，操作系统又提供了poll方案，但是poll的模型和select大致相当，只是改变了一些限制。目前Linux最先进的方式是epoll模型，它使用的是selectors模块。
许多高性能的软件如nginx, nodejs都是基于epoll进行的异步。
selectors模块实现I/O多路复用机制
这个模块允许高层高效的I/O多路复用，建立在select模块的原函数基础之上。
selectors实例
#服务器端
import selectors #基于select模块实现的IO多路复用
import socket
sel = selectors.DefaultSelector() #默认选择器使用在当前平台上可以的最有效的实现
def accept(sock, mask):
"""建立连接，然后交给read函数接收从客户端来的数据(接收数据注册EVENT_READ事件)"""
conn, addr = sock.accept() # Should be ready
print('accepted', conn, 'from', addr)
conn.setblocking(False) #非阻塞模式
#根据平台选择最佳的IO多路机制，比如Linux就会选择epoll
sel.register(conn, selectors.EVENT_READ, read) #新连接注册read回调函数
def read(conn, mask):
"""接收从客户端来的数据，然后判断需要的操作"""
data = conn.recv(1000) # Should be ready
if data:
print('echoing', repr(data), 'to', conn)
conn.send(data) # Hope it won't block
else:
print('closing', conn)
#接收到空数据就从事件列表中注销conn的事件，同时关闭conn
sel.unregister(conn)
conn.close()
sock = socket.socket()
sock.bind(('localhost', 10000))
sock.listen(100)
sock.setblocking(False)
#注册事件，只要有连接来就调用accept函数
sel.register(sock, selectors.EVENT_READ, accept)
while True:
# [(sock),(),()]监听EVENT事件列表
events = sel.select() #默认阻塞。有活动的事件就交给相应的方法处理
print("事件：",events)
for key, mask in events:
#print(key.data) #accept 找出有活动的绑定函数
#print(key.fileobj) #sock 找出有活动的文件描述符
callback = key.data #1 accept（sock，mask） 2 read(conn,mask)
callback(key.fileobj, mask) #key.fileobj = 注册的文件句柄(对象)
#运行输出
事件： [(SelectorKey(fileobj=<socket.socket fd=4, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 9998)>, fd=4, events=1, data=<function accept at 0x10403aa60>), 1)]
accepted <socket.socket fd=7, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 9998), raddr=('127.0.0.1', 55795)> from ('127.0.0.1', 55795)
事件： [(SelectorKey(fileobj=<socket.socket fd=7, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 9998), raddr=('127.0.0.1', 55795)>, fd=7, events=1, data=<function read at 0x104506488>), 1)]
echoing b'1' to <socket.socket fd=7, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 9998), raddr=('127.0.0.1', 55795)>
程序详解
生成一个对象
sel = selectors.DefaultSelector()
注册事件
sel.register(sock, selectors.EVENT_READ, accept)
循环事件
while True:
# [(sock),(),()]监听
events = sel.select() #默认阻塞。有活动连接就返回活动的连接列表
print("事件：",events)
for key, mask in events:
#print(key.data) #accept 找出有活动的绑定函数
#print(key.fileobj) #sock 找出有活动的文件描述符
callback = key.data #第1次调用accept(sock,mask), 第2次调用read(conn,mask)
callback(key.fileobj, mask) #key.fileobj = 注册的文件句柄(对象)
多并发客户端
#客户端
import socket
import sys
messages = [ b'This is the message. ',
b'It will be sent ',
b'in parts.',
]
server_address = ('localhost', 10000)
# 创建3个tcp/ip的socket连接
socks = [ socket.socket(socket.AF_INET, socket.SOCK_STREAM) for i in range(3)]
# 将socket连接到服务器正在监听的端口
print('connecting to %s port %s' % server_address)
for s in socks:
s.connect(server_address)
for message in messages:
#在2个socket上发送信息
for s in socks:
print('%s: sending "%s"' % (s.getsockname(), message) )
s.send(message)
#读取2个socket上的response
for s in socks:
data = s.recv(1024)
print( '%s: received "%s"' % (s.getsockname(), data) )
if not data:
print('closing socket', s.getsockname() )
#运行输出
connecting to localhost port 10000
('127.0.0.1', 56849): sending "b'This is the message. '"
('127.0.0.1', 56850): sending "b'This is the message. '"
('127.0.0.1', 56851): sending "b'This is the message. '"
('127.0.0.1', 56849): received "b'This is the message. '"
('127.0.0.1', 56850): received "b'This is the message. '"
('127.0.0.1', 56851): received "b'This is the message. '"
('127.0.0.1', 56849): sending "b'It will be sent '"
('127.0.0.1', 56850): sending "b'It will be sent '"
('127.0.0.1', 56851): sending "b'It will be sent '"
('127.0.0.1', 56849): received "b'It will be sent '"
('127.0.0.1', 56850): received "b'It will be sent '"
('127.0.0.1', 56851): received "b'It will be sent '"
('127.0.0.1', 56849): sending "b'in parts.'"
('127.0.0.1', 56850): sending "b'in parts.'"
('127.0.0.1', 56851): sending "b'in parts.'"
('127.0.0.1', 56849): received "b'in parts.'"
('127.0.0.1', 56850): received "b'in parts.'"
('127.0.0.1', 56851): received "b'in parts.'"
