基于tcp协议的粘包问题（subprocess、struct）
要点：
- 报头 固定长度bytes类型
1、粘包现象
粘包就是在获取数据时,出现数据的内容不是本应该接收的数据,如:对方第一次发送hello,第二次发送world,
我放接收时,应该收两次,一次是hello,一次是world,但事实上是一次收到helloworld,一次收到空,这种现象
叫粘包
只有TCP有粘包现象，TCP协议是面向流的协议，这也是容易出现粘包问题的原因。例如基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束。所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。
此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。
2、两种情况下会发生粘包。
发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）
接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）
3.粘包的解决
是通过设置报头,在传信息之前,先把该信息的报头传给对方,在传该信息,就不会出现粘包
报头是一个字典,它含有信息的大小,还有可以有文件的名称,文件的hash值,如下
head_dic={'size':len(data),'filename':filenaem,'hash':hash值},如果还有,可以继续在字典中加
1、基于远程执行命令的程序
需要用到subprocess模块
服务端
#1、执行客户端发送的指令 import socket import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.bind(('127.0.0.1',8090)) phone.listen(5) while True: conn,addr=phone.accept() print('IP:%s PORT:%s' %(addr[0],addr[1])) while True: try: cmd=conn.recv(1024) if not cmd:break #执行命令 obj=subprocess.Popen(cmd.decode('utf-8'),shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE ) stdout=obj.stdout.read() stderr=obj.stderr.read() conn.send(stdout+stderr) except Exception: break conn.close() phone.close()
客户端：
import socket phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.connect(('127.0.0.1',8090)) while True: cmd=input('>>：').strip() if not cmd:continue phone.send(cmd.encode('utf-8')) res=phone.recv(1024) print(res.decode('gbk')) phone.close()
注意注意注意：
res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)
的结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码，且只能从管道里读一次结果。
subprocess模块
从python2.4版本开始,可以用subprocess这个模块来产生子进程,并连接到子进程的标准输入/输出/错误中去，还可以得到子进程的返回值。
subprocess意在替代其他几个老的模块或者函数，比如：os.system os.spawn* os.popen* popen2.* commands.*
subprocess模块定义了一个类： Popen
class subprocess.Popen( args,
bufsize=0,
executable=None,
stdin=None,
stdout=None,
stderr=None,
preexec_fn=None,
close_fds=False,
shell=False,
cwd=None,
env=None,
universal_newlines=False,
startupinfo=None,
creationflags=0)
参数意思
struct模块
struct.pack(fmt, v1, v2, ...)
struct.pack用于将Python的值根据格式符，转换为字符串,准确来说是Byte。
Python3内的unicode和bytes，在Py3内文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。
Py2是没有Byte这么个东西的。参数fmt是格式字符串，v1, v2, ...表示要转换的python值
struct.unpack(fmt, buffer)
struct.unpack做的工作刚好与struct.pack相反，用于将字节流转换成python数据类型。它的函数原型为：struct.unpack(fmt, string)，该函数返回一个tuple。
struct.calcsize(fmt)
struct.calcsize用于计算格式字符串所对应的结果的长度，如：struct.calcsize('ii')，返回8。因为两个int类型所占用的长度是8个字节。
import struct #帮我们把数字转成固定长度的bytes类型 res=struct.pack('i',123123) print(res,len(res)) # b'\xf3\xe0\x01\x00' 4 res1=struct.unpack('i',res) print(res1[0]) # 123123
格式符"i"表示转换为int，'ii'表示有两个int变量。进行转换后的结果长度为8个字节（int类型占用4个字节，两个int为8个字节）
import struct res=struct.pack('ii',1220,520) print(res,len(res)) # b'\xc4\x04\x00\x00\x08\x02\x00\x00' 8
小端：较高的有效字节存放在较高的存储器地址，较低的有效字节存放在较低的存储器地址。
大端：较高的有效字节存放在较低的存储器地址，较低的有效字节存放在较高的存储器地址。
采用大端方式进行数据存放符合人类的正常思维，而采用小端方式进行数据存放利于计算机处理。
res=struct.pack('>ii',1220,520) print(res,len(res)) # b'\x00\x00\x04\xc4\x00\x00\x02\x08' 8 大端保存 res=struct.pack('<ii',1220,520) print(res,len(res)) # b'\xc4\x04\x00\x00\x08\x02\x00\x00' 8 小端保存
解决粘包问题
办法1
服务端
import subprocess import struct from socket import * server=socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8084)) # print(server) server.listen(5) while True: conn,addr=server.accept() # print(conn) print(addr) while True: try: cmd=conn.recv(8096) if not cmd:break #针对linux #执行命令 cmd=cmd.decode('utf-8') #调用模块，执行命令，并且收集命令的执行结果，而不是打印 obj = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE, ) stdout=obj.stdout.read() stderr=obj.stderr.read() #第一步：制作报头： total_size=len(stdout)+len(stderr) header=struct.pack('i',total_size) #第二步：先发报头（固定长度） conn.send(header) #第三步：发送命令的结果 conn.send(stdout) conn.send(stderr) except ConnectionResetError: break conn.close() server.close()
客户端
import struct from socket import * client=socket(AF_INET,SOCK_STREAM) client.connect(('127.0.0.1',8084)) while True: cmd=input('>>: ').strip() if not cmd:continue client.send(cmd.encode('utf-8')) #第一步：收到报头 header=client.recv(4) total_size=struct.unpack('i',header)[0] #第二步：收完整真实的数据 recv_size=0 res=b'' while recv_size < total_size: recv_data=client.recv(1024) res+=recv_data recv_size+=len(recv_data) print(res.decode('gbk')) client.close()
由于模块struct的pack方法中使用的i类型存在整数无限大时会出现报错的弊端，故提出如下解决方案：
办法二（终极版）
服务端
import subprocess import struct import json from socket import * server=socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8086)) # print(server) server.listen(5) while True: conn,addr=server.accept() # print(conn) print(addr) while True: try: cmd=conn.recv(8096) if not cmd:break #针对linux #执行命令 cmd=cmd.decode('utf-8') #调用模块，执行命令，并且收集命令的执行结果，而不是打印 obj = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE, ) stdout=obj.stdout.read() stderr=obj.stderr.read() # 1：先制作报头，报头里放：数据大小, md5, 文件 header_dic = { 'total_size':len(stdout)+len(stderr), 'md5': 'xxxxxxxxxxxxxxxxxxx', 'filename': 'xxxxx', 'xxxxx':'123123' } header_json = json.dumps(header_dic) header_bytes = header_json.encode('utf-8') header_size = struct.pack('i', len(header_bytes)) # 2: 先发报头的长度 conn.send(header_size) # 3：先发报头 conn.send(header_bytes) # 4：再发送真实数据 conn.send(stdout) conn.send(stderr) except ConnectionResetError: break conn.close() server.close()
客户端
import struct import json from socket import * client=socket(AF_INET,SOCK_STREAM) client.connect(('127.0.0.1',8086)) while True: cmd=input('>>: ').strip() if not cmd:continue client.send(cmd.encode('utf-8')) # 1:先收报头长度 obj = client.recv(4) header_size = struct.unpack('i', obj)[0] # 2：先收报头，解出报头内容 header_bytes = client.recv(header_size) header_json = header_bytes.decode('utf-8') header_dic = json.loads(header_json) print(header_dic) total_size = header_dic['total_size'] # 3:循环收完整数据 recv_size=0 res=b'' while recv_size < total_size: recv_data=client.recv(1024) res+=recv_data recv_size+=len(recv_data) print(res.decode('gbk')) client.close()
能下载视频
服务端
import subprocess import struct import json import os from socket import * server=socket(AF_INET,SOCK_STREAM) server.bind(('127.0.0.1',8087)) # print(server) server.listen(5) def get(filename): # 1：先制作报头，报头里放：数据大小, md5, 文件 header_dic = { 'total_size': os.path.getsize(filename), 'md5': 'xxxxxxxxxxxxxxxxxxx', 'filename': 'xxxxx', 'xxxxx': '123123' } header_json = json.dumps(header_dic) header_bytes = header_json.encode('utf-8') header_size = struct.pack('i', len(header_bytes)) # 2: 先发报头的长度 conn.send(header_size) # 3：先发报头 conn.send(header_bytes) # 4：再发送真实数据 with open(filename,'rb') as f: for line in f: conn.send(line) while True: conn,addr=server.accept() # print(conn) print(addr) while True: try: cmd=conn.recv(8096) #get C:\\a.txt if not cmd:break #针对linux cmd,filename=cmd.split() if cmd == 'get': get(filename) except ConnectionResetError: break conn.close() server.close()
客户端
import struct import json from socket import * client=socket(AF_INET,SOCK_STREAM) client.connect(('127.0.0.1',8087)) while True: cmd=input('>>: ').strip() if not cmd:continue client.send(cmd.encode('utf-8')) # 1:先收报头长度 obj = client.recv(4) header_size = struct.unpack('i', obj)[0] # 2：先收报头，解出报头内容 header_bytes = client.recv(header_size) header_json = header_bytes.decode('utf-8') header_dic = json.loads(header_json) print(header_dic) total_size = header_dic['total_size'] filename = header_dic['filename'] md5 = header_dic['md5'] # 3:循环收完整数据 recv_size=0 with open(filename,'wb') as f: while recv_size < total_size: recv_data=client.recv(1024) f.write(recv_data) recv_size+=len(recv_data) client.close()
