Python 的黏包问题

Client 端内的代码：

#Author:BigBao
#Date:2018/7/4
import socket
import struct
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1',8012))
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))
    # 这里我们先收取报头，4个字节
    header=client.recv(4)
    total_size=struct.unpack('i',header)[0]
    # 接收真实的数据，直到收干净为止
    recv_size=0
    res=b''
    while recv_size < total_size:
        recv_data=client.recv(1024)
        res+=recv_data
        recv_size+=len(recv_data)
    print(res.decode('gbk'))
client.close()

Server  端的代码

#Author:BigBao
#Date:2018/7/4
import socket
import subprocess
import struct

server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.bind(('127.0.0.1',8012))
server.listen(5)

while True: # 建立连接循环
    conn,client_addr=server.accept()
    while True:   # 建立通信循环
        try:
            cmd=conn.recv(1024)
            if not cmd:break
            obj=subprocess.Popen(cmd.decode('utf-8'),shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE)
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
            # 发送固定长度的报文头，目前报文头里值包含数据的大小，接下来制定报头
            total_size=len(stdout)+len(stderr)
            conn.send(struct.pack('i',total_size))  # 这里发送过去的数据是一个二进制数据，且长度为4，但是这里要是total_size 过大的话，这里就不行了，会报错struct.error: argument out of range
            conn.send(stdout)
            conn.send(stderr)
        except ConnectionResetError:
            break
        conn.close()
server.close()

上面我们说到了自定义报头的时候struct.pack('i',total_size)  这个方法在传输的数据过大的时候他就会报错，所以并不能完全的解决我们的黏包问题，只适用在我们传输小数据量的时候。

接下来看一下Python的最终解决黏包问题的解决方案：

 

#Author:BigBao
#Date:2018/7/6
import struct
import json
# obj=struct.pack('i',555565555)
# print(obj,len(obj))

# i 格式打包的个数是有限的
'''
解决黏包问题的主要思想就是：
在我们发送数据流的时候，我们先给对方发送这个数据流的长度\大小，也就是说
我们需要自定一个固定大小的报头，然后发送给对方，这个报头根据我们的需求来定义，
这个报头的内容比如说可以有：数据的长度，文件的名称（数据是文件的情况下）、md5值等等
按照上面的需求，我们一般把报头定义成一个字典格式，但是我们如何把一个字典发送给对方呢，
这个时候我们就要使用json,我们把字典转换成json串，json.dumps我们得到的是一个字符串格式的对象。
我们不能直接发送字符串，所以我们需要给他编码一下 obj.encode('utf-8').
比如说我们看一下下面的例子，
'''
header_dic={
    'filename':'xxx.mp4',
    'total_size':2342342374829374928374323423423449238749238742938749238749234923648763481256481736491287418375109837512653189237489123751928307,
    'md5':'8f6fbf8347faa4924a76856701edb0f3'
}
header_json=json.dumps(header_dic)   # 这样我们得到一个json对象,我们可以查看一下这是一个字符串类型
# print(header_json,type(header_json))
header_bytes=header_json.encode('utf-8')   # 我们给他编码一下，得到一个bytes的对象
# 这里我们要注意我们能做成报头的大前提是。报头的大小固定，这里我们要是随意修改一下header_dir 中的total_size 的话，
# 这里len(header_bytes)的大小就会发生变化，所以这里我们就要用到struct模块的pack功能了
obj=struct.pack('i',len(header_bytes))
print(obj,len(obj))   # 这里我们发现我们修改字典中的total_size 的话，这里的len(obj) 不会发生变化，我们看到他的大小一直都是4.满足我们的需求

print(struct.unpack('i',obj))
这里我们得到的是一个集合(209,)  所以我们取[0] 位置的数据就是报头的长度
print(struct.unpack('i',obj)[0])

#1、这里我们先把报头的长度发送给对方
#2、然后我们发送报头
#3、最后发送数据

 

#Author:BigBao
#Date:2018/7/4
import socket
import subprocess
import struct
import json

server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.bind(('127.0.0.1',8012))
server.listen(5)
print('服务端启动')
while True: # 建立连接循环
    conn,client_addr=server.accept()
    while True:   # 建立通信循环
        try:
            cmd=conn.recv(1024)
            if not cmd:break
            obj=subprocess.Popen(cmd.decode('utf-8'),shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE)
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
            # 制定报头：这里我们目前能用到的是header_dic里的total_size
            header_dic={
                'total_size':len(stdout)+len(stderr),
                'filename':'xxx.mp4',
                'md5sum':'8f6fbf8347faa4924a76856701edb0f3'
            }
            # 发送报头的长度
            header_json=json.dumps(header_dic)
            header_bytes=header_json.encode('utf-8')

            conn.send(struct.pack('i',len(header_bytes)))
            # 发送报头
            conn.send(header_bytes)
            # 发送数据
            conn.send(stdout)
            conn.send(stderr)
        except ConnectionResetError:
            break
    conn.close()
server.close()

 

 

#Author:BigBao
#Date:2018/7/4
import socket
import struct
import json
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1',8012))
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))
    # 我们先接受报头的长度的字节格式
    obj=client.recv(4)
    header_size=struct.unpack('i',obj)[0] # 这里unpack 我们得到的是一个集合（类似是这样的  （209，）   所以我们应该去第一个位置的值，这个值就是报头的长度），我们得到了报头的长度，然后我们在下面就接收这么长的字节数就可以得到报头对象了

    # 接受报头，从上面我们得到了报头的长度，所以我们recv(报头的长度)就可以得到报头对象了
    header_bytes=client.recv(header_size)
    header_json=header_bytes.decode('utf-8')
    header_dic=json.loads(header_json)
    total_size=header_dic['total_size']   # 这样我们就得到了字节流的长度了

    # 接收真实的数据，直到收干净为止
    recv_size=0
    res=b''
    while recv_size < total_size:
        recv_data=client.recv(1024)
        res+=recv_data
        recv_size+=len(recv_data)
    print(res.decode('gbk'))
client.close()

 

根据老师的文章写的：

http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label12