Python基础之网络编程之难点解答
1.同时运行多次server端
原因：由于服务端任然四次挥手的time_wait状态在占用地址。
我们就要深入研究：
-
- 1.连接过程的tcp三次握手，断开连接的四次挥手。
- 2.syn洪水攻击
- 3.服务器高并发情况下会有大量的time_wait状态的优化方法。
解决方案一：
t_server = socket(AF_INET,SOCK_STREAM) t_server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #就是它，在bind前加,重新使用地址
解决方案二：
发现系统存在大量TIME_WAIT状态的连接，通过调整linux内核参数解决， vi /etc/sysctl.conf 编辑文件，加入以下内容： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 30 然后执行 /sbin/sysctl -p 让参数生效。 net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间 #这是linux的系统的配置文件
基于udp方式，来模仿qq聊天通信
由于udp无3次握手链接，所以可以同时多个客户端去跟服务端通信
from socket import * address = ("127.0.0.1",9000) buffersize = 1024 u_server = socket(AF_INET,SOCK_DGRAM) #SOCK_DGRAM 数据报方式 udp u_server.bind(address) while True: qq_msg,addr = u_server.recvfrom(buffersize) print('来自[%s:%s]的一条消息:\033[1;33m %s\033[0m' %(addr[0],addr[1],qq_msg.decode('utf-8'))) back_msg = input("回复消息:>>") u_server.sendto(back_msg.encode("utf-8"),addr)
from socket import * u_client = socket(AF_INET,SOCK_DGRAM) buffersize = 1024 qq_name_dict = { '唐僧':('127.0.0.1',9000), '猪头':('127.0.0.1',9000), '孙悟空':('127.0.0.1',9000), '白龙马':('127.0.0.1',9000), } while True: for i in qq_name_dict: print(i) qq_name = input("请选择聊天对象:>>") if not qq_name or qq_name not in qq_name_dict:continue while True: msg = input("请输入消息，回车发送:>>") if msg == "quit":break if not msg:continue u_client.sendto(msg.encode("utf-8"),qq_name_dict[qq_name]) back_msg,addr = u_client.recvfrom(1024) # print(back_msg.decode("utf-8")) # print(addr) print("来自【%s ：%s】的一条信息\033[1;33m %s \033[0m"%(addr[0],addr[1],back_msg.decode("utf-8"))) u_client.close()
2.粘包
2.1基于tcp先制作一个远程执行命令的程序
from socket import * import subprocess ip_port = ("127.0.0.1",8000) buffersize = 1024 back_log = 5 tcp_socket_server = socket(AF_INET,SOCK_STREAM) #创建套接字 tcp_socket_server.bind(ip_port) #绑定套接字 tcp_socket_server.listen(back_log) while True: #循环不同的通讯连接 conn,addr = tcp_socket_server.accept() #等待client连接 print("客户端",addr) while True: #信息通讯的循序 try: #非常正常关闭 cmd = conn.recv(buffersize) #从client接收的信息 print("客户端发来的信息",cmd) if len(cmd) == 0:break #如果收到是空消息，继续等待客户端发信息 act_res = subprocess.Popen(cmd.decode("utf-8"),shell=True, #shell=True 表示输入命令通过shell来执行 stdout = subprocess.PIPE, #程序的标准输出句柄，NONE表示不进行重定向，继承父进程，PIPE表示创建管道 stdin = subprocess.PIPE, #程序的标准输入句柄 stderr=subprocess.PIPE) #程序的标准错误句柄 #把得到相应的信息，都放到管道中 err = act_res.stderr.read() ##从错误管道中读取相应信息 if err: #如果有错误信息 ret = err else: #没有错误信息 ret = act_res.stdout.read() conn.sendall(ret)#把相应的错误信息或正确信息发送给client端 except Exception: break conn.close()
import socket BUFSIZE=1024 ip_port=('127.0.0.1',8000) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port) #出错时返回出错码,而不是抛出异常 while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) act_res=s.recv(BUFSIZE) print("命令执行的结果是：>>",act_res.decode('gbk'),end='')
client执行dir ,ipconfig,连续多执行几次,第二次执行的命令的结果会有上一次命令执行结果出现的就会出现粘包的现象
2.2什么是粘包
所谓粘包,主要还是因为接受方不知道消息之间的界限,不知道一次提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
- TCP（transport control protocol，传输控制协议）是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
- tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头，实验略
2.3粘包有俩种现象
一、发送数据时间间隔很短，数据了很小，会合到一起，产生粘包
from socket import * ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(buffer_size) #指定buffer_size ,得到的结果就是通过Nagle算法，随机接收次数。 print('第1次数据',data1) data2=conn.recv(buffer_size) print('第2次数据',data2) data3=conn.recv(buffer_size) print('第3次数据',data3) 服务端
from socket import * import time ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('hello'.encode('utf-8')) tcp_client.send('world'.encode('utf-8')) tcp_client.send('egon'.encode('utf-8')) 客户端
第1次数据 b'helloworldegon' 第2次数据 b'' 第3次数据 b''
二、客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包
from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(1) print('第1次数据',data1) # data2=conn.recv(5) # print('第2次数据',data2) # # data3=conn.recv(1) # print('第3次数据',data3) 服务端
from socket import * import time ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 #接收的数据只有1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('helloworldegon'.encode('utf-8')) time.sleep(1000) 客户端
第1次数据 b'h' 第2次数据 b'ellow' #发送的数据过大，接收的数据设置的较小，就会出现导致粘包 第3次数据 b'o'
补充知识：
1、tcp是可靠传输
tcp在数据传输时，发送端先把数据发送到自己的缓存中，然后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则重新发送数据，所以tcp是可靠的。
2、udp是不可靠传输
udp发送数据，对端是不会返回确认信息的，因此不可靠。
2.4解决粘包的方法
#low版解决粘包版本服务端 from socket import * import subprocess ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) while True: conn,addr=tcp_server.accept() print('新的客户端链接',addr) while True: #收消息 try: cmd=conn.recv(buffer_size) if not cmd:break print('收到客户端的命令',cmd) #执行命令，得到命令的运行结果cmd_res res=subprocess.Popen(cmd.decode('utf-8'),shell=True, stderr=subprocess.PIPE, stdout=subprocess.PIPE, stdin=subprocess.PIPE) err=res.stderr.read() if err: cmd_res=err else: cmd_res=res.stdout.read() #发送消息 if not cmd_res: cmd_res='执行成功'.encode('gbk') length=len(cmd_res) #计算长度 conn.send(str(length).encode('utf-8')) #把长度发给客户端 client_ready=conn.recv(buffer_size) #卡着一个recv if client_ready == b'ready': #如果收到客户端的ready消息，就说明准备好了。 conn.send(cmd_res) #就可以send给客户端发送消息啦！ except Exception as e: print(e) break low版解决粘包版本服务端
#low版解决粘包版客户端 from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) while True: cmd=input('>>: ').strip() if not cmd:continue if cmd == 'quit':break tcp_client.send(cmd.encode('utf-8')) #解决粘包 length=tcp_client.recv(buffer_size) #接收发送过来的长度（1024*8=8192，2**8192=可以接收的长度） tcp_client.send(b'ready') #客户端再send给服务端，告诉服务端我准备好啦！ length=int(length.decode('utf-8')) #先解码，转成字符串的长度 #解决思路：就是提前发一个头过去，告诉客户端需要接收的长度（分两步：1、发送发度 2、再次发送数据） recv_size=0 #接收的尺寸 recv_msg=b'' #最后要拼接起来 while recv_size < length: #要收多大？，要先判断接收的尺寸<length recv_msg += tcp_client.recv(buffer_size) #接收到的数据，拼接buffer_size， recv_size=len(recv_msg) #1024 #衡量自己接收了多少数据,有没有收完（统计recv_msg的长度） print('命令的执行结果是 ',recv_msg.decode('gbk')) tcp_client.close() low版解决粘包版客户端
经过以上代码处理,再次进行 ipconfig dir这些命令则可以恢复正常,不会出现粘包问题
总结：
（为何low): 程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
2.5升级版处理粘包的问题
import socket,time,subprocess,pickle,struct ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客户端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True, stdin=subprocess.PIPE, stderr=subprocess.PIPE, stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() l=struct.pack('i',len(ret)) conn.sendall(l+ret) # conn.send(str(len(ret)).encode('utf-8')) conn.close() 服务端
import socket,time,struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) l=s.recv(4) x=struct.unpack('i',l)[0] print(type(x),x) # print(struct.unpack('I',l)) r_s=0 data=b'' while r_s < x: r_d = s.recv(1024) data += r_d r_s += len(r_d) print(data.decode('gbk')) 客户端
3.实现并发
SocketServer是基于socket写成的一个更强大的模块。
SocketServer简化了网络服务器的编写。它有4个类：TCPServer，UDPServer，UnixStreamServer，UnixDatagramServer。这4个类是同步进行处理的，另外通过ForkingMixIn和ThreadingMixIn类来支持异步。
在python3中该模块是socketserver
在python2中该模块是Socketserver
服务器
服务器要使用处理程序，必须将其出入到服务器对象，定义了5个基本的服务器类型(就是“类”)。BaseServer，TCPServer，UnixStreamServer，UDPServer，UnixDatagramServer。注意：BaseServer不直接对外服务。
服务器：
要使用处理程序，必须将其传入到服务器的对象，定义了四个基本的服务器类。
（1）TCPServer(address,handler) 支持使用IPv4的TCP协议的服务器，address是一个（host,port）元组。Handler是BaseRequestHandler或StreamRequestHandler类的子类的实例。
（2）UDPServer(address,handler) 支持使用IPv4的UDP协议的服务器，address和handler与TCPServer中类似。
（3）UnixStreamServer(address,handler) 使用UNIX域套接字实现面向数据流协议的服务器，继承自TCPServer。
（4）UnixDatagramServer(address,handler) 使用UNIX域套接字实现数据报协议的服务器，继承自UDPServer。
3.1这四个类的实例都有以下方法。
-
- 1、s.socket 用于传入请求的套接字对象。
- 2、s.sever_address 监听服务器的地址。如元组（"127.0.0.1",80）
- 3、s.RequestHandlerClass 传递给服务器构造函数并由用户提供的请求处理程序类。
- 4、s.serve_forever() 处理无限的请求 #无限处理client连接请求
- 5、s.shutdown() 停止serve_forever()循环
3.2 SocketServer模块中主要的有以下几个类：
1、BaseServer 包含服务器的核心功能与混合类（mix-in）的钩子功能。这个类主要用于派生，不要直接生成这个类的类对象，可以考虑使用TCPServer和UDPServer类。
2、TCPServer 基本的网络同步TCP服务器
3、UDPServer 基本的网络同步UDP服务器
4、ForkingTCPServer 是ForkingMixIn与TCPServer的组合
5、ForkingUDPServer 是ForkingMixIn与UDPServer的组合
6、ThreadingUDPServer 是ThreadingMixIn和UDPserver的组合
7、ThreadingTCPServer 是ThreadingMixIn和TCPserver的组合
8、BaseRequestHandler 必须创建一个请求处理类，它是BaseRequestHandler的子类并重载其handle()方法。
9、StreamRequestHandler 实现TCP请求处理类的
10、DatagramRequestHandler 实现UDP请求处理类的
11、ThreadingMixIn 实现了核心的线程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
12、ForkingMixIn 实现了核心的进程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
3.3 创建服务端的步骤：
1：首先必须创建一个请求处理类
2：它是BaseRequestHandler的子类
3：该请求处理类是BaseRequestHandler的子类并重新写其handle()方法
4：必须要有一个handle()方法,规则定义死的
实例化 请求处理类传入服务器地址和请求处理程序类
最后实例化调用serve_forever() #无限处理client请求
记住一个原则：对tcp来说：self.request=conn
实现解决
# TCP下实现的并发 import socketserver class Myserver(socketserver.BaseRequestHandler): # 必须要继承这个类 def handle(self): # 必须要有这个方法 print(self.request) # 相当于conn print(self.client_address) # 连接过来的客户端地址 while True: try: data = self.request.recv(1024) if not data:break print("收到来自%s的消息是: %s" %(self.client_address,data.decode("utf-8"))) nr = input(">>>") self.request.sendall(nr.encode("utf-8")) except Exception: break if __name__ == '__main__': # ip_port = input("请输入ip和端口") obj = socketserver.ThreadingTCPServer(("127.0.0.1",6060),Myserver) obj.serve_forever() 服务端
import socket ip_port = ("127.0.0.1",6060) buffer_size = 1024 s = socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect(ip_port) while True: nr = input(">>>").strip() # if not nr:continue s.sendall(bytes(nr, encoding="utf-8")) res = s.recv(buffer_size) print("来自远方的消息",str(res, encoding="utf-8")) 客户端
