python模块 select--IO复用

学习文档：https://docs.python.org/zh-cn/3.8/library/select.html#module-select

1、select模块

• select模块提供了对select()和poll()函数的访问，这两个函数在大多数操作系统中是可用的。
  • 在Linux2.5+上可用epoll()。
  • 在Solaris及其衍生版本上可用devpoll()。
  • 在大多数BSD上可用kqueue()。
  • 在Windows上，本模块仅适用于套接字；在其他操作系统上，本模块也适用于其他文件类型（特别地，在Unix上也适用于管道）。
• select模块不能用于常规文件，不能检测出（自上次读取文件后）文件是否有新数据写入。

• select模块内容

2、select.select()函数

1、select.select()函数说明

select.select(rlist, wlist, xlist[, timeout])

• 这是一个 Unix select() 系统调用接口。
• 前三个参数是由‘可等待对象’组成的序列（可迭代对象）：可以是代表文件描述符的整数，或是方法fileno()返回的整数对象:
  • rlist：等待，直到可以开始读取
  • wlist：等待，直到可以开始写入
  • xlist：等待“异常情况”（请参阅当前系统的手册，以获取哪些情况称为异常情况）
  • 前三个参数可以是空的可迭代对象，但是否允许三个都是空的则取决于具体平台。（已知在Unix上可行但在Windows上不可行。）
• 可选参数timeout，以一个浮点数表示超时秒数。
  • 当timeout被省略时，该函数将被阻塞，直到至少有一个文件描述符就绪。
  • timeout为0时，表示执行轮询并且永远不会阻塞。
• 返回值是三个列表，包含已就绪对象，返回的三个列表是前三个参数的子集（分别是可读的、可写的、异常的）。当超时时间已到且没有文件描述符就绪时，返回三个空列表。
• 可等待对象，即可迭代对象中可接受的对象类型：
  • Python文件对象(例如sys.stdin以及open()或os.popen()所返回的对象)。
  • socket.socket()返回的套接字对象。
  • 也可以自定义一个wrapper类，只要它具有适当的fileno()方法（该方法要确实返回一个文件描述符，而不能只是一个随机整数）。
• 注意：Windows上不接受文件对象，但接受套接字。在Windows上，底层的select()函数由WinSock库提供，且不处理不是源自WinSock的文件描述符。

2、select.select()函数与套接字

• 除了普通文件描述符，还可以监控套接字，因为套接字也是文件。
  • 例如recv buffer中是否收到了数据，也即监控套接字的可读性，send buffer中是否满了，也即监控套接字的可写性。

示例：服务端

#!/usr/bin/env python3
from socket import *
import select

ss = socket(AF_INET, SOCK_STREAM)
ss.bind(('127.0.0.1', 10000))
ss.listen(5)
sss = [ss]                                  #存放套接字的列表

while True:
    r, w, e = select.select(sss, [], [])    #使用select监听套接字，在此被阻塞
    for obj in r:                           #遍历可读的套接字
        if obj is ss:                       #如果套接字是ss，有新的客户端来连接服务器
            cs, csaddr = ss.accept()
            sss.append(cs)                  #将新的客户端套接字加入到套接字列表中
            print(sss)
        else:                               #如果套接字是cs，与客户端进行通信
            data = obj.recv(1024)
            print(data)
            if not data:                    #如果客户端传一个空数据，将断开该客户端的连接
                sss.remove(obj)             #将客户端套接字从列表中删除
                obj.close()                 #关闭客户端连接
                break
            obj.send(data)
tcpSerSock.close()  # 最后一行永远不会执行，它只是用来提醒读者，有这种优雅的退出方式

示例：客户端

• 可以开多个客户端同时连接服务端，每个客户端都可以与服务端进行独立的通信，互不影响。

#!/usr/bin/env python
from socket import *

cs = socket(AF_INET, SOCK_STREAM)
cs.connect(('127.0.0.1',10000))

while True:
    data = input('> ')
    if not data:
        break
    cs.send(bytes(data, 'utf-8'))
    data = cs.recv(1024)
    if not data:
        break
    print(str(data, 'utf-8'))
cs.close()

2、select.epoll()函数

1、select.epoll()函数说明

select.epoll(sizehint=-1, flags=0)

• 仅支持 Linux 2.5.44 或更高版本
• 返回一个edge poll对象，该对象可作为I/O事件的边缘触发或水平触发接口。

• sizehint指示epoll预计需要注册的事件数。它必须为正数，或为-1（使用默认值）。它仅在epoll_create1()不可用的旧系统上会被用到，其他情况下它没有任何作用（尽管仍会检查其值）。
• flags已经弃用且完全被忽略。但是，如果提供该值，则它必须是0或select.EPOLL_CLOEXEC，否则会抛出OSError异常。
  • 3.4 版后已移除: flags 参数。

• epoll对象支持上下文管理器：当在with语句中使用时，新建的文件描述符会在运行至语句块结束时自动关闭。（在3.4版及之后）

1、epoll的eventmask

2、epoll的方法

3、水平触发(LT)和边缘触发(ET)

• LT(level triggered)
  • 是缺省的工作方式（即epoll的默认工作方式），支持block和no-block socket。
  • 只要满足条件，就触发一个事件。（只要有数据没有被获取完，内核就一直通知）
    • 在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你的，所以，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表．
  • 优点：当进行socket通信的时候，保证了数据的完整输出，进行IO操作的时候，如果还有数据，就会一直的通知你。
  • 缺点：由于只要还有数据，内核就会不停的从内核空间转到用户空间，所有占用了大量内核资源，试想一下当有大量数据到来的时候，每次读取一个字节，这样就会不停的进行切换。内核资源的浪费严重。效率来讲也是很低的。
• ET(edge-triggered)
  • 是高速工作方式，只支持no-block socket。
  • 每当状态变化时，触发一个事件（内核只通知一次）
    • 在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知。请注意，如果一直不对这个fd作IO操作(从而导致它再次变成未就绪)，内核不会发送更多的通知(only once).
  • 优点：每次内核只会通知一次，大大减少了内核资源的浪费，提高效率。
  • 缺点：不能保证数据的完整。不能及时的取出所有的数据。
  • 应用场景： 处理大数据。使用non-block模式的socket。

2、select.epoll()函数与套接字

示例：服务端（必须运行在Linux2.5+）

#!/usr/bin/env python3
from socket import *
import select, queue

ss = socket(AF_INET, SOCK_STREAM)
ss.bind(('127.0.0.1', 10000))
ss.listen(5)
ss.setblocking(False)

epoll = select.epoll()                                    #创建epoll事件对象，后续要监控的事件添加到其中
epoll.register(ss.fileno(), select.EPOLLIN)               #注册服务器监听fd到等待读事件集合
message_queues = {}                                       #保存连接客户端消息的字典，格式为{}
fd_to_socket = {ss.fileno(): ss}                          #文件句柄到所对应对象的字典，格式为{句柄：对象}
timeout = 10

while True:
    events = epoll.poll(timeout)                          #轮询注册的事件集合，返回值为[(文件句柄，对应的事件)，(...),....]
    if not events:
        print('epoll超时无活动连接，重新轮询......')
        continue
    for fd, event in events:
        socket = fd_to_socket[fd]
        if socket == ss:                               #如果活动socket为当前服务器socket，表示有新连接
            cs, address = ss.accept()
            cs.setblocking(False)                          #新连接socket设置为非阻塞
            epoll.register(cs.fileno(), select.EPOLLIN)    #注册新连接fd到待读事件集合
            fd_to_socket[cs.fileno()] = cs                 #把新连接的文件句柄以及对象保存到字典
            message_queues[cs] = queue.Queue()
        elif event & select.EPOLLHUP:                  #关闭事件
            epoll.unregister(fd)                           #在epoll中注销客户端的文件句柄
            fd_to_socket[fd].close()                       #关闭客户端的文件句柄
            del fd_to_socket[fd]                           #在字典中删除与已关闭客户端相关的信息
        elif event & select.EPOLLIN:                       #可读事件
            data = socket.recv(1024)                   #接收数据
            if data:
                message_queues[socket].put(data)           #将数据放入对应客户端的字典
                epoll.modify(fd, select.EPOLLOUT)          #修改读取到消息的连接到等待写事件集合(即对应客户端收到消息后，再将其fd修改并加入写事件集合)
        elif event & select.EPOLLOUT:                  #可写事件
            try:
                msg = message_queues[socket].get_nowait()  #从字典中获取对应客户端的信息
            except queue.Empty:
                epoll.modify(fd, select.EPOLLIN)           #队列为空，修改文件句柄为读事件
            else:
                socket.send(msg)                           #发送数据给客户端
epoll.unregister(serversocket.fileno())                    #在epoll中注销服务端文件句柄
epoll.close()                                              #关闭epoll
ss.close()                                                 #关闭服务器socket

示例：客户端

#!/usr/bin/env python3
from socket import *

cs = socket(AF_INET, SOCK_STREAM)
cs.connect(('192.168.248.128', 10000))

while True:
    data = input('> ')
    if not data:
        break
    cs.send(bytes(data, 'utf-8'))
    data = cs.recv(1024)
    if not data:
        break
    print(str(data, 'utf-8'))
cs.close()

 

#                                                                                                                   #