Python之路（十七）：网络编程（下）
python基础之网络编程(下篇)
socket编程
中篇对socket的搭建服务端与客户端的连接进行了代码实现化,以及socket内置方法的认识及运用。
粘包现象的出现
在中篇中，对于tcp和udp制作了一个远程执行命令的程序（1：执行错误命令 2：执行ls 3：执行ifconfig）
在tcp下:在运行时会发生粘包
在udp下:在运行时永远不会发生粘包
什么是粘包
在上篇中,对于socket的收发消息的原理进行了一些阐释
所谓粘包,主要还是因为接受方不知道消息之间的界限,不知道一次提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
- TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
- tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头，实验略
粘包有俩种现象
一、发送数据时间间隔很短，数据了很小，会合到一起，产生粘包
from socket import * ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(buffer_size) #指定buffer_size ,得到的结果就是通过Nagle算法，随机接收次数。 print('第1次数据',data1) data2=conn.recv(buffer_size) print('第2次数据',data2) data3=conn.recv(buffer_size) print('第3次数据',data3)
from socket import * import time ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('hello'.encode('utf-8')) tcp_client.send('world'.encode('utf-8')) tcp_client.send('egon'.encode('utf-8'))
第1次数据 b'helloworldegon' 第2次数据 b'' 第3次数据 b''
二、客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包
from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(1) print('第1次数据',data1) # data2=conn.recv(5) # print('第2次数据',data2) # # data3=conn.recv(1) # print('第3次数据',data3)
from socket import * import time ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 #接收的数据只有1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('helloworldegon'.encode('utf-8')) time.sleep(1000)
第1次数据 b'h' 第2次数据 b'ellow' #发送的数据过大，接收的数据设置的较小，就会出现导致粘包 第3次数据 b'o'
补充知识：
1、tcp是可靠传输
tcp在数据传输时，发送端先把数据发送到自己的缓存中，然后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则重新发送数据，所以tcp是可靠的。
2、udp是不可靠传输
udp发送数据，对端是不会返回确认信息的，因此不可靠。
基于中篇的实现远程命令的例子,作出解决粘包的方法
#low版解决粘包版本服务端 from socket import * import subprocess ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) while True: conn,addr=tcp_server.accept() print('新的客户端链接',addr) while True: #收消息 try: cmd=conn.recv(buffer_size) if not cmd:break print('收到客户端的命令',cmd) #执行命令，得到命令的运行结果cmd_res res=subprocess.Popen(cmd.decode('utf-8'),shell=True, stderr=subprocess.PIPE, stdout=subprocess.PIPE, stdin=subprocess.PIPE) err=res.stderr.read() if err: cmd_res=err else: cmd_res=res.stdout.read() #发送消息 if not cmd_res: cmd_res='执行成功'.encode('gbk') length=len(cmd_res) #计算长度 conn.send(str(length).encode('utf-8')) #把长度发给客户端 client_ready=conn.recv(buffer_size) #卡着一个recv if client_ready == b'ready': #如果收到客户端的ready消息，就说明准备好了。 conn.send(cmd_res) #就可以send给客户端发送消息啦！ except Exception as e: print(e) break
#low版解决粘包版客户端 from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) while True: cmd=input('>>: ').strip() if not cmd:continue if cmd == 'quit':break tcp_client.send(cmd.encode('utf-8')) #解决粘包 length=tcp_client.recv(buffer_size) #接收发送过来的长度（1024*8=8192，2**8192=可以接收的长度） tcp_client.send(b'ready') #客户端再send给服务端，告诉服务端我准备好啦！ length=int(length.decode('utf-8')) #先解码，转成字符串的长度 #解决思路：就是提前发一个头过去，告诉客户端需要接收的长度（分两步：1、发送发度 2、再次发送数据） recv_size=0 #接收的尺寸 recv_msg=b'' #最后要拼接起来 while recv_size < length: #要收多大？，要先判断接收的尺寸<length recv_msg += tcp_client.recv(buffer_size) #接收到的数据，拼接buffer_size， recv_size=len(recv_msg) #1024 #衡量自己接收了多少数据,有没有收完（统计recv_msg的长度） print('命令的执行结果是 ',recv_msg.decode('gbk')) tcp_client.close()
经过以上代码处理,再次进行 ipconfig dir这些命令则可以恢复正常,不会出现粘包问题
总结：
（为何low): 程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
接下来,有一种新的方式处理粘包的问题
import socket,time,subprocess,pickle,struct ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客户端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True, stdin=subprocess.PIPE, stderr=subprocess.PIPE, stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() l=struct.pack('i',len(ret)) conn.sendall(l+ret) # conn.send(str(len(ret)).encode('utf-8')) conn.close()
import socket,time,struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) l=s.recv(4) x=struct.unpack('i',l)[0] print(type(x),x) # print(struct.unpack('I',l)) r_s=0 data=b'' while r_s < x: r_d = s.recv(1024) data += r_d r_s += len(r_d) print(data.decode('gbk'))
在解决了TCP的粘包问题,那么又该怎么解决TCP的并发问题
SocketServer是基于socket写成的一个更强大的模块。
SocketServer简化了网络服务器的编写。它有4个类：TCPServer，UDPServer，UnixStreamServer，UnixDatagramServer。这4个类是同步进行处理的，另外通过ForkingMixIn和ThreadingMixIn类来支持异步。
在python3中该模块是socketserver
在python2中该模块是Socketserver
服务器
服务器要使用处理程序，必须将其出入到服务器对象，定义了5个基本的服务器类型(就是“类”)。BaseServer，TCPServer，UnixStreamServer，UDPServer，UnixDatagramServer。注意：BaseServer不直接对外服务。
服务器：
要使用处理程序，必须将其传入到服务器的对象，定义了四个基本的服务器类。
（1）TCPServer(address,handler) 支持使用IPv4的TCP协议的服务器，address是一个（host,port）元组。Handler是BaseRequestHandler或StreamRequestHandler类的子类的实例。
（2）UDPServer(address,handler) 支持使用IPv4的UDP协议的服务器，address和handler与TCPServer中类似。
（3）UnixStreamServer(address,handler) 使用UNIX域套接字实现面向数据流协议的服务器，继承自TCPServer。
（4）UnixDatagramServer(address,handler) 使用UNIX域套接字实现数据报协议的服务器，继承自UDPServer。
这四个类的实例都有以下方法。
1、s.socket 用于传入请求的套接字对象。
2、s.sever_address 监听服务器的地址。如元组（"127.0.0.1",80）
3、s.RequestHandlerClass 传递给服务器构造函数并由用户提供的请求处理程序类。
4、s.serve_forever() 处理无限的请求 #无限处理client连接请求
5、s.shutdown() 停止serve_forever()循环
SocketServer模块中主要的有以下几个类：
1、BaseServer 包含服务器的核心功能与混合类（mix-in）的钩子功能。这个类主要用于派生，不要直接生成这个类的类对象，可以考虑使用TCPServer和UDPServer类。
2、TCPServer 基本的网络同步TCP服务器
3、UDPServer 基本的网络同步UDP服务器
4、ForkingTCPServer 是ForkingMixIn与TCPServer的组合
5、ForkingUDPServer 是ForkingMixIn与UDPServer的组合
6、ThreadingUDPServer 是ThreadingMixIn和UDPserver的组合
7、ThreadingTCPServer 是ThreadingMixIn和TCPserver的组合
8、BaseRequestHandler 必须创建一个请求处理类，它是BaseRequestHandler的子类并重载其handle()方法。
9、StreamRequestHandler 实现TCP请求处理类的
10、DatagramRequestHandler 实现UDP请求处理类的
11、ThreadingMixIn 实现了核心的线程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
12、ForkingMixIn 实现了核心的进程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
创建服务端的步骤：
1：首先必须创建一个请求处理类
2：它是BaseRequestHandler的子类
3：该请求处理类是BaseRequestHandler的子类并重新写其handle()方法
4：必须要有一个handle()方法,规则定义死的
实例化 请求处理类传入服务器地址和请求处理程序类
最后实例化调用serve_forever() #无限处理client请求
记住一个原则：对tcp来说：self.request=conn
在这里作一个简单的小例子
# TCP下实现的并发 import socketserver class Myserver(socketserver.BaseRequestHandler): # 必须要继承这个类 def handle(self): # 必须要有这个方法 print(self.request) # 相当于conn print(self.client_address) # 连接过来的客户端地址 while True: try: data = self.request.recv(1024) if not data:break print("收到来自%s的消息是: %s" %(self.client_address,data.decode("utf-8"))) nr = input(">>>") self.request.sendall(nr.encode("utf-8")) except Exception: break if __name__ == '__main__': # ip_port = input("请输入ip和端口") obj = socketserver.ThreadingTCPServer(("127.0.0.1",6060),Myserver) obj.serve_forever()
import socket ip_port = ("127.0.0.1",6060) buffer_size = 1024 s = socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect(ip_port) while True: nr = input(">>>").strip() # if not nr:continue s.sendall(bytes(nr, encoding="utf-8")) res = s.recv(buffer_size) print("来自远方的消息",str(res, encoding="utf-8"))
