python--(socket与粘包解决方案)
python--(socket与粘包解决方案)
一.socket:
Socket 是任何一种计算机网络通讯中最基础的内容。例如当你在浏览器地址栏中输入 http://www.cnblogs.com/ 时，你会打开一个套接字，然后连接到 http://www.cnblogs.com/ 并读取响应的页面然后然后显示出来。而其他一些聊天客户端如 gtalk 和 skype 也是类似。任何网络通讯都是通过 Socket 来完成的
打开 => 读写 => 关闭
socket ftp传输:
import socket server = socket.socket() #创建一个手机#创建了一个socket对象 ip_port = ('192.168.15.113',8001) #创建了一张电话卡 server.bind(ip_port) #插上电话卡#绑定IP地址和端口 server.listen() #开机#监听IP地址和端口 conn, addr = server.accept() #等着别人给我打电话,阻塞住#等待客链接 from_client_msg = conn.recv(1024) #接收消息#1024为消息大小,单位B,MB = 1024KB,1KB = 1024B from_client_msg = from_client_msg.decode('utf-8')#接收的消息是bytes类型,需要转换为字符串 print(from_client_msg) conn.send('死鬼,十点'.encode('utf-8')) #发送消息 conn.close()#关闭链接 server.close()
import socket client = socket.socket() server_ip_port = ('192.168.15.113',8001) client.connect(server_ip_port)#链接服务端 client.send('约吗'.encode('utf-8')) #发消息#send里面的消息必须是字节类型的 from_server_msg = client.recv(1024) #阻塞住,等待接收消息 from_server_msg = from_server_msg.decode('utf-8') print(from_server_msg) client.close()
socket udp传输:
import socket udp_server = socket.socket(type=socket.SOCK_DGRAM) #创建一个udp协议下的socket,需要使用参数type#DGRAM : datagram 数据报 ip_port = ('192.168.15.113',8001)#拿到一个地址,启动程序的时候,告诉电脑,你给我这个程序分配8001端口. udp_server.bind(ip_port) #绑定IP地址和端口 from_client_msg,client_addr = udp_server.recvfrom(1024)#阻塞住了,接收客户端消息#from_client_msg来自客户端的消息,client_addr客户端的地址('192.168.15.113', 8001) udp_server.sendto(b'gunduzi',client_addr)#发送消息 udp_server.close()#关闭udp的socket对象
import socket udp_client = socket.socket(type=socket.SOCK_DGRAM) server_ip_port = ('192.168.15.113',8001) udp_client.sendto(b'hello',server_ip_port) from_server_msg,server_addr = udp_client.recvfrom(1024) print(from_server_msg) print(server_addr) udp_client.close()
socketserver:
它是在socket的基础上进行了一层封装，也就是说底层还是调用的socket，在py2.7里面叫做SocketServer也就是大写了两个S，在py3里面就小写了。需要用它来实现并发，也就是同时可以和多个客户端进行通信，多个人可以同时进行上传下载等。
import socketserver class MyServer(socketserver.BaseRequestHandler) #1.定义一个类,2.类里面继承socketserve.BaseRequestHandler def handle(self): #类里面定义一个handle方法,handle名称不能变 while 1: from_client_data = self.request.recv(1024).decode("utf-8") # self.request #conn链接通道 print(from_client_data) server_input = ("辉哥说>>>>") self.request.send(server_input.encode("utf-8")) # self.request.send(server_input.encode("utf-8") # self.request.close() if __name__ == "__main__": ip_port = ('127.0.0.1',8001)#服务端的ip地址和端口 socketserver.TCPServer.allow_reuse_address = True server = socketserver.ThreadingTCPServer(ip_port, MyServer)# 绑定IP地址和端口,并且启动我定义的上面这个类 server.serve_forever()#永久的给我执行下去
import socket tcp_client = socket.socket() server_ip_port = ('127.0.0.1',8001) tcp_client.connect(server_ip_port) while 1: client_msg = input('大阳哥>>>') tcp_client.send(client_msg.encode('utf-8')) from_server_msg = tcp_client.recv(1024).decode('utf-8') print(from_server_msg) tcp_client.close()
socket相关常用操作:
sk.bind(address)
s.bind(address)
将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host, port）的形式表示地址。
sk.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前，可以挂起的最大连接数量。
backlog等于5，表示内核已经接到了连接请求，但服务器还没有调用accept进行处理的连接个数最大为5
这个值不能无限大，因为要在内核中维护连接队列
sk.setblocking(bool)
是否阻塞（默认True），如果设置False，那么accept和recv时一旦无数据，则报错。
sk.accept()
接受连接并返回（conn, address）, 其中conn是新的套接字对象，可以用来接收和发送数据。address是连接客户端的地址。
接收TCP
客户的连接（阻塞式）等待连接的到来
sk.connect(address)
连接到address处的套接字。一般，address的格式为元组（hostname, port）, 如果连接出错，返回socket.error错误。
sk.connect_ex(address)
同上，只不过会有返回值，连接成功时返回
0 ，连接失败时候返回编码，例如：10061
sk.close()
关闭套接字
sk.recv(bufsize[, flag])
接受套接字的数据。数据以字符串形式返回，bufsize指定最多可以接收的数量。flag提供有关消息的其他信息，通常可以忽略。
sk.recvfrom(bufsize[.flag])
与recv()
类似，但返回值是（data, address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
sk.send(string[, flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容全部发送。
sk.sendall(string[, flag])
将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。成功返回None，失败则抛出异常。
内部通过递归调用send，将所有内容发送出去。
sk.sendto(string[, flag], address)
将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。
sk.settimeout(timeout)
设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如
client
连接最多等待5s ）
sk.getpeername()
返回连接套接字的远程地址。返回值通常是元组（ipaddr, port）。
sk.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr, port)
sk.fileno()
套接字的文件描述符
二.粘包缓冲区 : 暂时存放传输数据的,防止你的程序在发送数据的时候卡住,提高代码运行效率
输入缓冲区:recv
输出缓冲区:send
缓冲区有长度限制
MTU:最大传输单元,网络层限制是1500B,每次发送数据的时候最好不要超过这个数
粘包现象:
1 连续发送小的数据,间隔时间很短,有可能一次就接收到了这几个连续的拼接在一起的小数据. #原因:为了提高tcp传输效率,内部提供了一个叫做Nagel算法,他的意思就是为了避免你连续发送小的数据.
2 当你一次接收的数据长度小于你一次发送的数据长度,那么一次接受完剩下的数据会在下一次接收数据的时候被一起接收.#原因面向流的传输
粘包的根本原因:
两端互相不知道对方发送数据的长度
解决方案一:
发送消息之前,先计算要发送消息的长度,然后先将消息长度发送过去,对方给你回一个确认收到长度的信息,然后根据接收到的消息长度来修改自己一次接收消息的大小
这个过程多了一次交互.
解决方案二:
struct:
import struct num = 156 #将int类型的数据打包成4个字节的数据 num_stru = struct.pack('i',num) print(len(num_stru)) print(num_stru) print('11111111111111111111111111111111') #在通过int类型解包,将前面打包的数据解包成打包之前的int数据 num2 = struct.unpack('i',num_stru) #解包出来是个元组 print(num2)#(156,) print(num2[0])
ftp传输 案例:
服务端: import socketserver # 服务端 class Myserver(socketserver.BaseRequestHandler): def handle(self): conn = self.request conn.sendall(bytes("你好，我是孔二楞",encoding="utf-8")) while True: ret_bytes = conn.recv(1024) ret_str = str(ret_bytes,encoding="utf-8") if ret_str == "q": break conn.sendall(bytes(ret_str+"你真无聊~",encoding="utf-8")) if __name__ == "__main__": server = socketserver.ThreadingTCPServer(("192.168.15.70",8080),Myserver) server.serve_forever() 客户端: import socket obj = socket.socket() obj.connect(("192.168.15.70",8080)) ret_bytes = obj.recv(1024) ret_str = str(ret_bytes,encoding="utf-8") print(ret_str) while True: inp = input("你好请问您有什么问题？ \n >>>") if inp == "q": obj.sendall(bytes(inp,encoding="utf-8")) break else: obj.sendall(bytes(inp, encoding="utf-8")) ret_bytes = obj.recv(1024) ret_str = str(ret_bytes,encoding="utf-8") print(ret_str)
import socket import struct import json import os tcp_server = socket.socket() ip_port = ('127.0.0.1',8001)#本机回环地址,供内部程序之间测试用 tcp_server.bind(ip_port) tcp_server.listen() client_file_path = r'F:\pp' conn,adddr = tcp_server.accept() file_info_stru = conn.recv(4)#首先接收到文件信息长度转换出来的4个字节的数据 file_info_len = struct.unpack('i',file_info_stru)[0]#解包文件信息的长度 client_file_info = conn.recv(file_info_len).decode('utf-8') abc_file_info = json.loads(client_file_info)#将接收到的json字符串反序列化 print('abc_file_info>>>',abc_file_info) client_file_size = abc_file_info['file_size'] recv_all_size = 0 client_full_path = client_file_path + '\\' + abc_file_info['file_name'] # client_full_path = os.path.join(client_file_path,abc_file_info['file_name']) with open(client_full_path,'wb') as f: while recv_all_size < client_file_size: every_recv_data = conn.recv(1024) f.write(every_recv_data) recv_all_size += len(every_recv_data) conn.send('小伙牛逼啊,上传成功!'.encode('utf-8')) conn.close() tcp_server.close()
import socket import struct import json import os tcp_client = socket.socket() server_client = socket.socket() server_ip_port = ("127.0.0.1",8001) tcp_client.connect(server_ip_port) read_size = 1024 file_info = { 'file_path':r'F:\untitled\10.18\jj\aaa.mp4', 'file_name':'aaa.mp4', 'file_size':None, } file_size = os.path.getsize(file_info["file_path"])#获取文件大小 file_info["file_size"] = file_size#将文件大小添加到文件信息的字典中 file_info_json = json.dumps(file_info)#因为我们要发送的数据是字节类型,那么必须将字典转换为bytes类型,但字典不能直接转换为byte,所以用过先转换成字符串 file_info_len = len(file_info_json) #获取字符串的长度 file_info_stru = struct.pack("i",file_info_len)#将长度打包为四个字节 tcp_client.send(file_info_stru)#将打包好的4个自己的数据和我的文件信息数据一起发送给了服务端 tcp_client.send(file_info_json.encode("utf-8")) all_file_data = b'' #统计文件数据 all_size_len = 0 #统计文件数据长度 with open(file_info['file_path'],'rb') as f: while all_size_len < file_size: every_read_data = f.read(read_size) all_file_data += every_read_data all_size_len += len(every_read_data) tcp_client.send(every_read_data)#发送每次读取的数据 print(tcp_client.recv(1024).decode('utf-8')) tcp_client.close()
import socket import subprocess import struct server = socket.socket() ip_port = ("192.168.15.33",8001) server.bind(ip_port) server.listen() conn,addr = server.accept() while 1: print("等待接收消息...") from_client_cmd = conn.recv(1024).decode("utf-8")#接收客户端消息 print(from_client_cmd) sub_obj = subprocess.Popen( #通过subprocess模块执行服务端指令,并拿到指令结果 from_client_cmd, #客户端指令 shell = True, stdout = subprocess.PIPE, #标准输出:正确指令的执行结果 stderr = subprocess.PIPE, #标准错误输出:错误指令的执行结果 ) server_cmd_msg = sub_obj.stdout.read() #server_cmd_msg = sub_obj.stderr.read() #接收到的返回信息是bytes类型,并且windoes系统的默认编码为gbk cmd_msg_len = len(server_cmd_msg) #计算你要发送的数据长度 msg_len_stru = struct.pack("i",cmd_msg_len)#先对数据长度进行打包,打包成4个字节的数据,目的是为了和你将要发送的数据拼接在一起,就像我们自制一个消息头. conn.send(msg_len_stru) #首先发送打包成功后的那4个字节的数据 conn.sendall(server_cmd_msg) #循环send数据,直到数据全部发送成功 conn.close() server.close()
import socket import struct client = socket.socket() server_ip_port = ("192.168.15.33",8001) client.connect(server_ip_port) while 1: msg = input("请输入要执行的命令>>>>>") client.send(msg.encode("utf-8")) from_server_msglen = client.recv(4)#先接受服务端要发送给我的数据长度,前四个字节,固定的 unpack_len_msg = struct.unpack("i",from_server_msglen)[0] recv_msg_len = 0 all_msg = b"" while recv_msg_len < unpack_len_msg: every_recv_date = client.recv(1024) all_msg += every_recv_date #将每次接收到的数据进行拼接和统计 recv_msg_len += len(every_recv_date) #对每次接受到的数据进行累加 print(all_msg.decode("gbk")) client.close()
