socket、IO多路复用（select，poll，epoll）、自定义异步非阻塞Web框架

socket

 

简单实现一个TCP SOCKET的C/S架构,S服务器,C客户端

---------------------------------------socker_server.py --------------------------------------------------------
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import socket
ip_add=('127.0.0.1',9000)
 
s = socket.socket()     # 创建套接字对象
s.bind(ip_add)          # 绑定ip和端口必须是元组
s.listen(5)             # 设置连接池挂起的数量
 
while True:
    conn,addr = s.accept()  # 接受客户端的连接,conn是客户端连接服务端的电信号,addr客户端ip,port
    #未设置sk.setblocking(bool)时，默认阻塞
 
    while True:
        try:
            recv_data = conn.recv(1024)    # conn.recv接收客户端信息1024允许接受的字节最大8k
            #未设置sk.setblocking(bool)时，默认阻塞
            
            if len(recv_data) == 0:break
 
            send_data = recv_data.upper()
            conn.send(send_data)   # conn.send发送信息
        except Exception:
            break
 
    conn.close()
    
---------------------------------------------------socker_client.py -----------------------------------------------
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import socket
ip_add=('127.0.0.1',9000)
 
s = socket.socket()  # 创建套接字对象
s.connect(ip_add)    # s.connect连接服务器
 
while True:
    send_data = input(">>>:")   
    if send_data == 'exit': break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding="utf-8"))   # s.send发送信息
 
    recv_data = s.recv(1024)    # s.recv接收服务器发来的信息
    #未设置sk.setblocking(bool)时，默认阻塞
    print(str(recv_data,encoding="utf-8"))
 
s.close()

简单实现一个UDP SOCKET的C/S架构,S服务器,C客户端


---------------------------------------------------socker_server.py  -----------------------------------------------
# 服务端
import socket
ip_port = ('127.0.0.1',9999)
sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
sk.bind(ip_port)
 
while True:
    data,(host,port) = sk.recvfrom(1024)
    print(data,host,port)
    sk.sendto(bytes('ok', encoding='utf-8'), (host,port))

---------------------------------------------------socker_client.py -----------------------------------------------

 
#客户端
import socket
ip_port = ('127.0.0.1',9999)
 
sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
while True:
    inp = input('数据：').strip()
    if inp == 'exit':
        break
    sk.sendto(bytes(inp, encoding='utf-8'),ip_port)
    data = sk.recvfrom(1024)
    print(data)
 
sk.close()

 

 socker()类相关方法

 

socker()类相关参数
sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

参数一：地址簇
　　socket.AF_INET IPv4（默认）
　　socket.AF_INET6 IPv6
　　socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二：类型

　　socket.SOCK_STREAM　　流式socket , for TCP （默认）
　　socket.SOCK_DGRAM　　 数据报式socket , for UDP
　　socket.SOCK_RAW 原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以；其次，SOCK_RAW也可以处理特殊的IPv4报文；此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头。
　　socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在需要执行某些特殊操作时使用，如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
　　socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三：协议

      0　　（默认）与特定的地址家族相关的协议,如果是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

相关方法：
sk.bind(address)
　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)#设置监听的队列长度
　　开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
      backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
      这个值不能无限大，因为要在内核中维护连接队列

sk.setblocking(bool)#异步IO就是设置了False
　　是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()#TCP连接server端方法，等待TCP连接，会阻塞
　　接受连接并返回（conn,address）,其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
　　接收TCP 客户的连接（阻塞式）等待连接的到来

sk.connect(address)#TCP连接client端方法，用于连接到server端
　　连接到address处的套接字。一般，address的格式为元组（hostname,port）,如果连接出错，返回socket.error错误。

sk.connect_ex(address)
　　同上，只不过会有返回值，连接成功时返回 0 ，连接失败时候返回编码，例如：10061

sk.close()
　　关闭套接字

sk.recv(bufsize[,flag])
　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。

sk.recvfrom(bufsize[.flag])
　　与recv()类似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(bytes[,flag])
　　将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。

sk.sendall(bytes[,flag])
　　将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
   内部通过递归调用send，将所有内容发送出去。

sk.sendto(bytes[,flag],address)#UDP的发送信息的方法
　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)
　　设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如 client 连接最多等待5s ）

sk.getpeername()
　　返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

sk.getsockname()
　　返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()
　　套接字的文件描述符
      

 

 

运用socket()实现C/S以及ssh相关操作和解决粘包问题：

服务端在发送数据之前，先把发送数据的长度告诉客户端，要发送多少数据，然后客户端根据这个数据的长度循环接收来解决粘包,传输过程：
服务端：
    (1).send  #数据长度
    (4).recv  #收到确认信息，开始下一步发送
    send  #发送数据
    
客户端 :
    (2).recv #获取数据长度
    (3).send #发送确认信息
    recv #循环接收
-----------------------------------------------socket_ssh_nianbao_server.py---------------------------------------------------

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import socket
import subprocess
ip_add=('127.0.0.1',9001)
 
 
s = socket.socket()
s.bind(ip_add)
s.listen(5)
 
while True:
    conn,addr = s.accept()
 
    while True:
        try:
            recv_data = conn.recv(1024)
            if len(recv_data) == 0:break
 
            p = subprocess.Popen(str(recv_data,encoding="utf-8"),
                                 shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
            res = p.stdout.read()
            err = p.stderr.read()
            if len(res) == 0:
                conn.send(err)
            else:
                send_data = bytes("Ready|%s" %len(res),encoding="utf-8")
 
            conn.send(send_data)
 
            feed_back = conn.recv(1024)
            start_tag = str(feed_back,encoding="utf-8")
 
            if start_tag.startswith("start"):
                conn.send(res)
        except Exception:
            break
 
    conn.close()

-----------------------------------socket_ssh_nianbao_client.py----------------------------------------

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import socket
ip_add=('127.0.0.1',9001)
 
s = socket.socket()
s.connect(ip_add)
 
while True:
    send_data = input(">>>:")
    if send_data == 'exit': break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding="utf-8"))
 
    recv_tag = s.recv(1024)
    recv_tag = str(recv_tag,encoding="utf-8")
    if recv_tag.startswith("Ready"):
        msg_size = int(recv_tag.split("|")[1])
 
    s.send(bytes("start",encoding="utf-8"))
 
    recv_size = 0
    msg_data = b''
    while recv_size != msg_size:
        recv_data=s.recv(100)
        recv_size+=len(recv_data)
        msg_data+=recv_data
        print('message size %s recv size %s' %(msg_size,recv_size))
 
    print(str(msg_data,encoding="utf-8"))
 
s.close()    

 

 

setsockopt()和getsockopt()，一个是设置选项，一个是得到设置。
这里主要使用setsockopt()，setsockopt(level,optname,value)，level定义了哪个选项将被使用。通常情况下是SOL_SOCKET，意思是正在使用的socket选项。
      level、optname、value这3个参数可以另外百度。。。
比较常用的用法是，setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #在武sir的自定义异步框架中有这用到这么依据配置，可以当做是固定配置吧。。
这里value设置为1，表示将SO_REUSEADDR标记为TRUE，操作系统会在服务器socket被关闭或服务器进程终止后马上释放该服务器的端口，否则操作系统会保留几分钟该端口。

socket不支持并发，如果有多个接入，则依次排队等待，只有前面的完成业务并断开连接，下一个client才可以正常连接，否则只是等待

socketserver 详见参考文章

 .........

IO多路复用（select，poll，epoll）

Python中的select、poll、epoll三个方法，在不同系统中实现IO多路复用。
Windows Python：
    提供： select
Mac Python：
    提供： select
Linux Python：
    提供： select、poll、epoll
注意：网络操作、文件操作、终端操作等均属于IO操作，对于windows只支持Socket操作，其他系统支持其他IO操作，但是无法检测 普通文件操作 自动上次读取是否已经变化。

 

select()方法 

句柄列表11, 句柄列表22, 句柄列表33 = select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间)
 
参数： 可接受四个参数（前三个必须）
返回值：三个列表
 
select方法用来监视文件句柄，如果句柄发生变化，则获取该句柄。
1、当 参数1 序列中的句柄发生可读时（accetp和read），则获取发生变化的句柄并添加到 返回值1 序列中
2、当 参数2 序列中含有句柄时，则将该序列中所有的句柄添加到 返回值2 序列中
3、当 参数3 序列中的句柄发生错误时，则将该发生错误的句柄添加到 返回值3 序列中
4、当 超时时间 未设置，则select会一直阻塞，直到监听的句柄发生变化
   当 超时时间 ＝ 1时，那么如果监听的句柄均无任何变化，则select会阻塞 1 秒，之后返回三个空列表，如果监听的句柄有变化，则直接执行。

利用select实现伪同时处理多个Socket客户端请求：服务端

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
import select

ip_add = ('127.0.0.1', 9000)

sk = socket.socket()
sk.bind(ip_add)
sk.listen(5)

inputs = [sk, ]
outputs = []
while True:

    rlist, wlist, e = select.select(inputs, outputs, [], 1)#此处阻塞1秒
    print(len(inputs), len(rlist), len(wlist), len(outputs))
    print(inputs,'>',rlist,'>',wlist,'>',outputs)
    # 监听sk(服务器端)对象，如果sk对象发生变化，表示有客户端来链接了，此时rlist值为【sk】
    # 监听conn对象，如果conn发生变化，表示客户端有新消息发送过来了，此时rlist的值为【客户端】

    # 我的理解（猜想）：
    # 通过select一直监听sk(服务器端)对象，如果sk对象发生变化，表示有客户端来链接；此时在rlist中插入了一个sk对象（通过打印id(r),id(sk)得知就是同一个对象）
    # 所以此时在判断r == sk时，若是新的链接，判断则成立；通过r.accept()获取新的socket对象，并将该对象插入被监控列表inputs中
    for r in rlist:
        if r == sk:
            # 新客户端来链接
            print(id(r),id(sk))
            print(r)
            conn, addr = r.accept()
            # conn是什么？其实也是socket对象
            inputs.append(conn)
            conn.sendall(bytes('hello', encoding='utf-8'))
        else:
            # 是以存在的conn对象,给我发消息了
            try:
                ret = r.recv(1024)
                # r.sendall(ret)
                if not ret:
                    raise Exception('断开链接')
                else:
                    outputs.append(r)
            except Exception as e:
                inputs.remove(r)

    # 所有给我发过消息的人
    for w in wlist:
        w.sendall(bytes('response', encoding='utf-8'))
        outputs.remove(w)
        
        
        
利用select实现伪同时处理多个Socket客户端请求：客户端　　


#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import socket
ip_add=('127.0.0.1',9000)
 
s = socket.socket()
s.connect(ip_add)
data = s.recv(1024)
print(data)
while True:
    send_data = input(">>>:")
    if send_data == 'exit': break
    if len(send_data) == 0:continue
 
    s.sendall(bytes(send_data,encoding='utf-8'))
 
    print(s.recv(1024))
 
s.close()
此处的Socket服务端相比与原生的Socket，他支持当某一个请求不再发送数据时，服务器端不会等待而是可以去处理其他请求的数据。但是，如果每个请求的耗时比较长时，select版本的服务器端也无法完成同时操作。　　  

 

 自定义异步非阻塞Web框架

 

重点是最后的Snow类


#!/usr/bin/env python
# -*- coding:utf-8 -*-
import re
import socket
import select
import time


class HttpResponse(object):
    """
    封装响应信息
    """
    def __init__(self, content=''):
        self.content = content

        self.headers = {}
        self.cookies = {}

    def response(self):
        return bytes(self.content, encoding='utf-8')


class HttpNotFound(HttpResponse):
    """
    404时的错误提示
    """
    def __init__(self):
        super(HttpNotFound, self).__init__('404 Not Found')


class HttpRequest(object):
    """
    用户封装用户请求信息
    """
    def __init__(self, conn):
        self.conn = conn

        self.header_bytes = bytes()
        self.header_dict = {}
        self.body_bytes = bytes()

        self.method = ""
        self.url = ""
        self.protocol = ""

        self.initialize()
        self.initialize_headers()

    def initialize(self):

        header_flag = False
        while True:
            try:
                received = self.conn.recv(8096)
            except Exception as e:
                received = None
            if not received:
                break
            if header_flag:
                self.body_bytes += received
                continue
            temp = received.split(b'\r\n\r\n', 1)
            if len(temp) == 1:
                self.header_bytes += temp
            else:
                h, b = temp
                self.header_bytes += h
                self.body_bytes += b
                header_flag = True

    @property
    def header_str(self):
        return str(self.header_bytes, encoding='utf-8')

    def initialize_headers(self):
        headers = self.header_str.split('\r\n')
        first_line = headers[0].split(' ')
        if len(first_line) == 3:
            self.method, self.url, self.protocol = headers[0].split(' ')
            for line in headers:
                kv = line.split(':')
                if len(kv) == 2:
                    k, v = kv
                    self.header_dict[k] = v


class Future(object):
    """
    异步非阻塞模式时封装回调函数以及是否准备就绪
    """
    def __init__(self, callback):
        self.callback = callback
        self._ready = False
        self.value = None

    def set_result(self, value=None):
        self.value = value
        self._ready = True

    @property
    def ready(self):
        return self._ready


class TimeoutFuture(Future):
    """
    异步非阻塞超时
    """
    def __init__(self, timeout):
        super(TimeoutFuture, self).__init__(callback=None)
        self.timeout = timeout
        self.start_time = time.time()

    @property
    def ready(self):
        current_time = time.time()
        if current_time > self.start_time + self.timeout:
            self._ready = True
        return self._ready


class Snow(object):
    """
    微型Web框架类
    """
    def __init__(self, routes):
        self.routes = routes
        self.inputs = set()
        self.request = None
        self.async_request_handler = {}

    def run(self, host='localhost', port=9999):
        """
        事件循环
        :param host:
        :param port:
        :return:
        """
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)#这里value设置为1，表示将SO_REUSEADDR标记为TRUE，操作系统会在服务器socket被关闭或服务器进程终止后马上释放该服务器的端口，否则操作系统会保留几分钟该端口。 
        sock.bind((host, port,))
        sock.setblocking(False)#设置非阻塞
        sock.listen(128)
        sock.setblocking(0)
        self.inputs.add(sock)
        try:
            while True:
                readable_list, writeable_list, error_list = select.select(self.inputs, [], self.inputs,0.005)
                for conn in readable_list:
                    if sock == conn:
                        client, address = conn.accept()
                        client.setblocking(False)
                        self.inputs.add(client)
                    else:
                        gen = self.process(conn)
                        if isinstance(gen, HttpResponse):
                            conn.sendall(gen.response())
                            self.inputs.remove(conn)
                            conn.close()
                        else:
                            yielded = next(gen)
                            self.async_request_handler[conn] = yielded
                self.polling_callback()

        except Exception as e:
            pass
        finally:
            sock.close()

    def polling_callback(self):
        """
        遍历触发异步非阻塞的回调函数
        :return:
        """
        for conn in list(self.async_request_handler.keys()):
            yielded = self.async_request_handler[conn]
            if not yielded.ready:
                continue
            if yielded.callback:
                ret = yielded.callback(self.request, yielded)
                conn.sendall(ret.response())
            self.inputs.remove(conn)
            del self.async_request_handler[conn]
            conn.close()

    def process(self, conn):
        """
        处理路由系统以及执行函数
        :param conn:
        :return:
        """
        self.request = HttpRequest(conn)
        func = None
        for route in self.routes:
            if re.match(route[0], self.request.url):
                func = route[1]
                break
        if not func:
            return HttpNotFound()
        else:
            return func(self.request)

snow.py

 

 

 

 

参考文章：
Python自动化运维之15、网络编程之socket、socketserver、select、twisted：https://www.cnblogs.com/xiaozhiqi/p/5788544.html
Python之路【第六篇】：socket：http://www.cnblogs.com/wupeiqi/articles/5040823.html
200行自定义异步非阻塞Web框架：https://www.cnblogs.com/wupeiqi/p/6536518.html