python select.select模块通信全过程详解
要理解select.select模块其实主要就是要理解它的参数, 以及其三个返回值。
select()方法接收并监控3个通信列表， 第一个是所有的输入的data,就是指外部发过来的数据，第2个是监控和接收所有要发出去的data(outgoing data),第3个监控错误信息
在网上一直在找这个select.select的参数解释, 但实在是没有, 哎...自己硬着头皮分析了一下。
readable, writable, exceptional = select.select(inputs, outputs, inputs)
select 函数的参数其实很好理解, 前提是我们对unix 网络编程有了解. select 模型是unix 系统中的网络模型, python 将其封装了,因此我们使用起来就比较方便, 但是面试官就不会这么觉得了(最近被面试逼疯了, 考虑问题都从面试官的角度考虑), 先说下unix 系统中的select 模型吧, 参数原型:
int select(int maxfdpl, fd_set * readset, fd_set *writeset, fd_set *exceptset, const struct timeval * tiomeout)
第一个是最大的文件描述符长度
第二个是监听的可读集合
第三个是监听的可写集合
第四个是监听的异常集合
第五个是时间限制
对struct fd_set结构体操作的宏
FD_SETSIZE 容量，指定fd_array数组大小，默认为64，也可自己修改宏
FD_ZERO(*set) 置空，使数组的元素值都为3435973836，元素个数为0.
FD_SET(s, *set) 添加，向 struct fd_set结构体添加套接字s
FD_ISSET(s, *set) 判断，判断s是否为 struct fd_set结构体中的一员
FD_CLR(s, *set) 删除，从 struct fd_set结构体中删除成员s
因为此模型主要是在网络中应用, 我们不考虑文件, 设备, 单从套接字来考虑, 可读条件如下:
可写条件如下:
我看C 示例的时候, 看的有点懵逼, 应该需要跑一遍代码就好, python 就简单了, 直接调用封装好的select , 其底层处理好了文件描述符的相关读写监听(回头再研究下), 我们在Python 中只需这么写:
can_read, can_write, _ = select.select(inputs, outputs, None, None)
第一个参数是我们需要监听可读的套接字, 第二个参数是我们需要监听可写的套接字, 第三个参数使我们需要监听异常的套接字, 第四个则是时间限制设置.
如果监听的套接字满足了可读可写条件, 那么所返回的can,read 或是 can_write就会有值了, 然后我们就可以利用这些返回值进行随后的操作了。相比较unix 的select模型, 其select函数的返回值是一个整型, 用以判断是否执行成功.
第一个参数就是服务器端的socket, 第二个是我们在运行过程中存储的客户端的socket, 第三个存储错误信息。
重点是在返回值, 第一个返回的是可读的list, 第二个存储的是可写的list, 第三个存储的是错误信息的
list。
网上所有关于select.select的代码都是差不多的, 但是有些不能运行, 或是不全。我自己重新写了一份能运行的程序, 做了很多注释, 好好看看就能搞懂
服务器端:
# coding: utf-8 import select import socket import Queue from time import sleep # Create a TCP/IP server = socket.socket(socket.AF_INET, socket.SOCK_STREAM) server.setblocking(False) # Bind the socket to the port server_address = ('localhost', 8090) print ('starting up on %s port %s' % server_address) server.bind(server_address) # Listen for incoming connections server.listen(5) # Sockets from which we expect to read inputs = [server] # Sockets to which we expect to write # 处理要发送的消息 outputs = [] # Outgoing message queues (socket: Queue) message_queues = {} while inputs: # Wait for at least one of the sockets to be ready for processing print ('waiting for the next event') # 开始select 监听, 对input_list 中的服务器端server 进行监听
# 一旦调用socket的send, recv函数，将会再次调用此模块 readable, writable, exceptional = select.select(inputs, outputs, inputs) # Handle inputs # 循环判断是否有客户端连接进来, 当有客户端连接进来时select 将触发 for s in readable: # 判断当前触发的是不是服务端对象, 当触发的对象是服务端对象时,说明有新客户端连接进来了 # 表示有新用户来连接 if s is server: # A "readable" socket is ready to accept a connection connection, client_address = s.accept() print ('connection from', client_address) # this is connection not server connection.setblocking(0) # 将客户端对象也加入到监听的列表中, 当客户端发送消息时 select 将触发 inputs.append(connection) # Give the connection a queue for data we want to send # 为连接的客户端单独创建一个消息队列，用来保存客户端发送的消息 message_queues[connection] = Queue.Queue() else: # 有老用户发消息, 处理接受 # 由于客户端连接进来时服务端接收客户端连接请求，将客户端加入到了监听列表中(input_list), 客户端发送消息将触发 # 所以判断是否是客户端对象触发 data = s.recv(1024) # 客户端未断开 if data != '': # A readable client socket has data print ('received "%s" from %s' % (data, s.getpeername())) # 将收到的消息放入到相对应的socket客户端的消息队列中 message_queues[s].put(data) # Add output channel for response # 将需要进行回复操作socket放到output 列表中, 让select监听 if s not in outputs: outputs.append(s) else: # 客户端断开了连接, 将客户端的监听从input列表中移除 # Interpret empty result as closed connection print ('closing', client_address) # Stop listening for input on the connection if s in outputs: outputs.remove(s) inputs.remove(s) s.close() # Remove message queue # 移除对应socket客户端对象的消息队列 del message_queues[s] # Handle outputs # 如果现在没有客户端请求, 也没有客户端发送消息时, 开始对发送消息列表进行处理, 是否需要发送消息 # 存储哪个客户端发送过消息 for s in writable: try: # 如果消息队列中有消息,从消息队列中获取要发送的消息 message_queue = message_queues.get(s) send_data = '' if message_queue is not None: send_data = message_queue.get_nowait() else: # 客户端连接断开了 print "has closed " except Queue.Empty: # 客户端连接断开了 print "%s" % (s.getpeername()) outputs.remove(s) else: # print "sending %s to %s " % (send_data, s.getpeername) # print "send something" if message_queue is not None: s.send(send_data) else: print "has closed " # del message_queues[s] # writable.remove(s) # print "Client %s disconnected" % (client_address) # # Handle "exceptional conditions" # 处理异常的情况 for s in exceptional: print ('exception condition on', s.getpeername()) # Stop listening for input on the connection inputs.remove(s) if s in outputs: outputs.remove(s) s.close() # Remove message queue del message_queues[s] sleep(1)
客户端:
# coding: utf-8 import socket messages = ['This is the message ', 'It will be sent ', 'in parts ', ] server_address = ('localhost', 8090) # Create aTCP/IP socket socks = [socket.socket(socket.AF_INET, socket.SOCK_STREAM), socket.socket(socket.AF_INET, socket.SOCK_STREAM), ] # Connect thesocket to the port where the server is listening print ('connecting to %s port %s' % server_address) # 连接到服务器 for s in socks: s.connect(server_address) for index, message in enumerate(messages): # Send messages on both sockets for s in socks: print ('%s: sending "%s"' % (s.getsockname(), message + str(index))) s.send(bytes(message + str(index)).decode('utf-8')) # Read responses on both sockets for s in socks: data = s.recv(1024) print ('%s: received "%s"' % (s.getsockname(), data)) if data != "": print ('closingsocket', s.getsockname()) s.close()
写代码过程中遇到了两个问题, 一是如何判断客户端已经关闭了socket连接, 后来自己分析了下, 如果关闭了客户端socket, 那么此时服务器端接收到的data就是'', 加个这个判断。二是如果服务器端关闭了socket, 一旦在调用socket的相关方法都会报错, 不管socket是不是用不同的容器存储的(意思是说list_1存储了socket1, list_2存储了socket1, 我关闭了socket1, 两者都不能在调用这个socket了)
服务器端：
客户端：
