epoll真正实现高并发服务器
epoll真正实现高并发服务器
epoll是IO模型中的一种,属于多路复用IO模型；
select也是一种多路复用的IO模型,但是其单个select最多只能同时处理1024个socket,效率实在算不上高
注意：epoll仅在linux中可用
select实现并发的思路：
1.当网卡收到数据后会现将数据写入到缓冲区
2.发送中断信号给CPU
3.CPU执行中断程序,将数据从内核copy到socket的缓冲区
4.唤醒进程,即将进程A切换到就绪态,同时从socket的等待队列中移除这个进程引用
从上面的过程中不难看出
1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,
2.数据到达后还需要给变量所有socket才能获知哪些socket有数据
两个操作消耗的时间随着要监控的socket的数量增加而大大增加,
处于效率考虑才规定了最大只能监视1024个socket
epoll基于select的基础上实现并发思路：
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
#epoll相关函数
import select 导入select模块
epoll = select.epoll() 创建一个epoll对象
epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件
事件类型:
select.EPOLLIN 可读事件
select.EPOLLOUT 可写事件
select.EPOLLERR 错误事件
select.EPOLLHUP 客户端断开事件
epoll.unregister(文件句柄) 销毁文件句柄
epoll.poll(timeout) 当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout
为超时时间，默认为-1，即一直等待直到文件句柄发生变化，如果指定为1
那么epoll每1秒汇报一次当前文件句柄的变化情况，如果无变化则返回空
epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)
epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件
epoll.fromfd(fileno) 从1个指定的文件描述符创建1个epoll对象
epoll.close() 关闭epoll对象的控制文件描述符
#理解版
import socket
import select
s = socket.socket()
s.bind(("127.0.0.1",1689))
s.listen()
# 创建一个epoll对象
epoll = select.epoll()
# 注册读就绪事件 (有数据可以读取了)
# s.fileno()用于获取文件描述符
epoll.register(s.fileno(),select.EPOLLIN)
# 存储文件描述符与socket的对应关系
fd_sockets = {s.fileno():s}
while True:
# 该函数是阻塞会直到你关注的事件发生
# 返回值为文件描述符与发生的事件类型 是一个列表 列表中是元组 第一个是描述符 第二个是事件
for fd,event in epoll.poll():
print("有socket 搞事情了!")
sock = fd_sockets[fd] # 取出对应的socket对象
# 判断socket是服务器还是客户端
if sock == s:
# 执行对应的接收或发送
client,addr = sock.accept()
# 注册客户端的事件
epoll.register(client.fileno(),select.EPOLLIN)
# 将对应关系存储到字典中
fd_sockets[client.fileno()] = client
print("来了一个客户端....")
elif event == select.EPOLLIN: #客户端的处理
data = sock.recv(1024)
if not data:
epoll.unregister(fd) # 注销事件
fd_sockets.pop(fd) # 从字典中删除
sock.close() # 关闭socket
continue
print("%s 发来问候:%s" % (sock,data.decode("utf-8")))
#将事件转换为可写
epoll.modify(fd,select.EPOLLOUT)
else:
sock.send("我是服务器 你丫是谁?".encode("utf-8"))
# 将事件转换为可读
epoll.modify(fd, select.EPOLLIN)
#正规版
# coding:utf-8
import socket, select
server = socket.socket()
server.bind(("127.0.0.1", 1688))
server.listen(5)
msgs = []
fd_socket = {server.fileno(): server}
epoll = select.epoll()
# 注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)
while True:
for fd, event in epoll.poll():
sock = fd_socket[fd]
print(fd, event)
# 返回的是文件描述符 需要获取对应socket
if sock == server: # 如果是服务器 就接受请求
client, addr = server.accept()
# 注册客户端写就绪
epoll.register(client.fileno(), select.EPOLLIN)
# 添加对应关系
fd_socket[client.fileno()] = client
# 读就绪
elif event == select.EPOLLIN:
data = sock.recv(2018)
if not data:
# 注销事件
epoll.unregister(fd)
# 关闭socket
sock.close()
# 删除socket对应关系
del fd_socket[fd]
print(" somebody fuck out...")
continue
print(data.decode("utf-8"))
# 读完数据 需要把数据发回去所以接下来更改为写就绪=事件
epoll.modify(fd, select.EPOLLOUT)
#记录数据
msgs.append((sock,data.upper()))
elif event == select.EPOLLOUT:
for item in msgs[:]:
if item[0] == sock:
sock.send(item[1])
msgs.remove(item)
# 切换关注事件为写就绪
epoll.modify(fd,select.EPOLLIN)
