Python之struct模块
面对网络协议,在组包拆包时,python提供了struct模块,它可以帮助我们在python值和C语言的结构体之间相互转换,下面一起来了解struct的具体用法。
假设,我们的网络协议为消息id(unsigned short类型)及消息payload(unsigned int类型)组成,那么该如何进行组包拆包呢?如下例所示:
import struct # 组包, 其中msg_id为0x1002、msg_payload为0x10070008 packet = struct.pack('>HI', 0x1002, 0x10070008) print("packet: %s" % packet) # 拆包 msg_id, msg_payload = struct.unpack_from('>HI', packet) print("msg_id: %s , msg_payload: %s" % (hex(msg_id), hex(msg_payload)))
运行结果:
packet: b'\x10\x02\x10\x07\x00\x08' msg_id: 0x1002 , msg_payload: 0x10070008
上述例子中,我们用到了pack(format, v1, v2, ...)函数组包及unpack(format, buffer)函数拆包,它们指定的消息格式为'>HI',即以大端字节序排列的unsigned short+unsigned int数据。
关于字节顺序的符号,官方定义如下:
关于格式类型的符号,官方定义如下:
为了方便我们计算format的长度,比如上例中'>HI'的长度,struct提供了calcsize(format)函数供我们调用,如下例所示:
import struct fmt_len = struct.calcsize('>HI') print("格式长度: %s" % fmt_len)
运行结果:
格式长度: 6
下面,我们进一步来了解pack_into(format, buffer, offset, v1, v2, ...)函数和unpack_from(format, buffer, offset=0)函数,它们在组包拆包时,可以指定所需的偏移量,这让组包拆包变得更加灵活。本文第一个例子中,网络协议为固定长度,但是更多时候,网络协议是可变长度的。假设,网络协议由消息id(unsigned short类型)、消息size(unsigned int类型)及可变长度的消息payload(若干个unsigned int类型)组成,那么该如何操作呢?下例将为大家解答。
import struct import ctypes def load_packet(msg_id, msg_size, msg_payload): packet = ctypes.create_string_buffer(msg_size) struct.pack_into('>HI', packet, 0, msg_id, msg_size) struct.pack_into('>%dH' % (int(msg_size-6)/2), packet, 6, *msg_payload) return packet def unload_packet(packet): msg_id, msg_size = struct.unpack_from('>HI', packet, 0) msg_payload = struct.unpack_from('>%dH' % (int(msg_size-6)/2), packet, 6) return msg_id, msg_size, msg_payload if __name__ == '__main__': packet = load_packet(0x1002, 12, (0x1003, 0x1004, 0x1005)) print("packet: %s" % packet.raw) msg_id, msg_size, msg_payload = unload_packet(packet) print(hex(msg_id), msg_size, [hex(item) for item in msg_payload])
运行结果:
packet: b'\x10\x02\x00\x00\x00\x0c\x10\x03\x10\x04\x10\x05' 0x1002 12 ['0x1003', '0x1004', '0x1005']
参考资料
- https://docs.python.org/zh-cn/3/library/struct.html
作者:酌三巡
感谢阅读,如需转载请注明出处!