【协议】Google的Protobuf协议分析
protobuf和thrift类似，也是一个序列化的协议实现，简称PB（下文出现的PB代表protobuf）。
Github：https://github.com/google/protobuf
上图，说明一下protobuf协议。
PB以“1-5个字节”的编号和类型开头，格式：编号左移3位和类型取或得到。
编号是什么？
编号就是 定义的proto文件中各个字段的编号。
如：
类型是什么？
类型就是 定义的proto文件中各个字段类型，使用3位表示类型，可以表示0到7，共8种类型，PB类型只用了0，1，2，3，4，5这6种类型。
详细描述参考如下表格：
| 类型 | 描述 | 使用于哪些类型 |
| 0 | varint | int32, int64, uint32, uint64, sint32, sint64, bool, enum |
| 1 | 64-bit | fixed64, sfixed64, double |
| 2 | Length-delimited | string, bytes, embedded messages, packed repeated fields |
| 3 | Start group | groups (deprecated) |
| 4 | End group | groups (deprecated) |
| 5 | 32-bit | fixed32, sfixed32, float |
看到图和表格时是不是有很多迷惑的地方？
1. 为什么编号类型，32位数值，32位负载长度数值都占用 “1-5个字节”？
2. 为什么64为的数值占用“1-10个字节”？
3. Varint是什么？
4. ZigZag是什么？
解决这些问题的关键：PB对数值进行压缩，压缩算法就是Varint，负数进行zigzag编码后再做varint编码，什么是Varint数值压缩？
为了详细的了解varint的编码，可以参考我的另一篇文章 Thrift TCompactProtocol协议分析的varint介绍部分。
看完链接中描述的varint编码和zigzag编码后，继续分析。
编写一个demo分析一下PB协议。
1. 编写proto接口文件
package demo;
enum AuctionType {
FIRST_PRICE = 1;
SECOND_PRICE = 2;
FIXED_PRICE = 3;
}
message VarintMsg {
required int32 argI32 = 1;
required int64 argI64 = 2;
required uint32 argUI32 = 3;
required uint64 argUI64 = 4;
required sint32 argSI32 = 5;
required sint64 argSI64 = 6;
repeated bool argBool = 7;
optional AuctionType argEnum = 8;
}
message Bit64 {
required fixed64 argFixed64 = 1;
required sfixed64 argSFixed64 = 2;
required double argDouble = 3;
}
message Bit32 {
required fixed32 argFixed32 = 1;
required sfixed32 argSFixed32 = 2;
required float argFloat = 3;
}
message LenPayload {
repeated string argStrList = 1;
optional VarintMsg argVarintMsg = 2;
optional Bit64 argBit64 = 3;
optional Bit32 argBit32 = 4;
}
2. 编写测试代码
/*
** Copyright (C) 2014 Wang Yaofu
** All rights reserved.
**
**Description: The source file of demo.
*/
#include "demo.pb.h"
#include <string>
#include <iostream>
#include <fstream>
using namespace std;
int appendFile(const string& file, const char* dataPtr, int len) {
std::ofstream ofs(file, std::ofstream::app | std::ofstream::binary);
if (ofs.is_open() && ofs.good()) {
ofs.write(dataPtr, len);
}
return len;
}
int main(int argc, char *argv[]) {
demo::VarintMsg* varintMsg = new demo::VarintMsg();
varintMsg->set_argi32(0x41);
varintMsg->set_argi64(0x12345678);
varintMsg->set_argui32(0x332211);
varintMsg->set_argui64(0x998877);
varintMsg->set_argsi32(-100);
varintMsg->set_argsi64(-200);
varintMsg->add_argbool(true);
varintMsg->add_argbool(false);
varintMsg->set_argenum(demo::SECOND_PRICE);
demo::Bit64* bit64 = new demo::Bit64();
bit64->set_argfixed64(0x123456);
bit64->set_argsfixed64(-100);
bit64->set_argdouble(3.1415926);
demo::Bit32* bit32 = new demo::Bit32();
bit32->set_argfixed32(0x1234);
bit32->set_argsfixed32(-10);
bit32->set_argfloat(3.1415);
demo::LenPayload* lenPayload = new demo::LenPayload();
lenPayload->add_argstrlist("String 1.");
lenPayload->add_argstrlist("String 2.");
lenPayload->set_allocated_argvarintmsg(varintMsg);
lenPayload->set_allocated_argbit64(bit64);
lenPayload->set_allocated_argbit32(bit32);
std::string content;
lenPayload->SerializeToString(&content);
appendFile("pb.bin", content.data(), content.length());
delete lenPayload;
return 0;
}
3. 编写Makefile
CXX = g++ -g -std=c++11
PB_HOME = ./tools/protobuf-2.6.1/inbin/
PROTOC = LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$(PB_HOME)/lib $(PB_HOME)/bin/protoc
CXXFLAGS = -I$(PB_HOME)/include -I.
LDFLAGS = -L$(PB_HOME)/lib -lprotobuf
all: demo.pb.h demo
demo.pb.h :
$(PB_HOME)/bin/protoc --cpp_out=. ./demo.proto
demo :
${CXX} ${CXXFLAGS} -o demo demo.cpp ${LDFLAGS}
clean:
rm -rf demo *.pb.*
4. 编译后运行demo，得到二进制文件pb.bin
5. 按字节分析
5.1.消息message LenPayload的第一个字段分析：
repeated string argStrList = 1;
字节 0a 表示编号和类型：
编号为1，类型为2，1 << 3 | 2 = 1000 | 0010 = 1010 = 8+2 = 10 = 0a
字节 09 表示负载信息的长度为9：
字节："53 74 72 69 6e 67 20 31 2e" 为 "String 1. "，长度正好为9.
字段argStrList是可重复的，所以紧接着的字节 0a 09表示编号类型和长度。
字节："53 74 72 69 6e 67 20 32 2e" 为 "String 2. "。
对应代码：
lenPayload->add_argstrlist("String 1.");
lenPayload->add_argstrlist("String 2.");
5.2. 消息message LenPayload的第二个字段分析：
optional VarintMsg argVarintMsg = 2;
字节："12 1e 08 41 10 f8 ac d1 91 01 18 91 c4 cc 01 20 f7 90 e6 04 28 c7 01 30 8f 03 38 01 38 00 40 02"
字节 12 表示编号和类型：
编号为2，类型为2，2 << 3 | 2 = 10000 | 0010 = 10010 = 16+2 = 18 = 0x12
字节 1e 表示负载信息的长度为30.
5.2.1. message VarintMsg消息分析
required int32 argI32 = 1;
varintMsg->set_argi32(0x41);
08 41
字节08 表示编号和类型：
编号为1，类型为0，1 << 3 | 0 = 1000 | 0000 = 1000 = 8 = 0x08
字节 41 表示值为 0x41.
required int64 argI64 = 2;
varintMsg->set_argi64(0x12345678);
10 f8 ac d1 91 01
字节10 表示编号和类型：
编号为2，类型为0，2 << 3 | 0 = 10000 | 0000 = 10000 = 16 = 0x10
字节 f8 ac d1 91 01二进制表示值为
1111 1000, 1010 1100, 1101 0001, 1001 0001, 0000 0001
小端转本地为 0000 0001, 1001 0001, 1101 0001, 1010 1100, 1111 1000
去掉红色的1，varint恢复为 0001 0010, 0011 0100, 0101 0110, 0111 1000 表示为16进制就是 0x12345678
required uint32 argUI32 = 3;
varintMsg->set_argui32(0x332211);
18 91 c4 cc 01
字节18 表示编号和类型：
编号为3，类型为0，3 << 3 | 0 = 11000 | 0000 = 11000 = 16 + 8 = 24 = 0x18
字节91 c4 cc 01二进制为 1001 0001, 1100 0100, 1100 1100, 0000 0001
小端转本地为 0000 0001, 1100 1100, 1100 0100 , 1001 0001
去掉红色的1，varint恢复为 0011 0011, 0010 0010, 0001 0001 表示为16进制就是 0x332211
required uint64 argUI64 = 4;
varintMsg->set_argui64(0x998877);
20 f7 90 e6 04
字节20 表示编号和类型：
编号为4，类型为0，4 << 3 | 0 = 100000 | 0000 = 100000 = 32 = 0x20
字节 f7 90 e6 04二进制为 1111 0111, 1001 0000, 1110 0110, 0000 0100
小端转本地为 0000 0100, 1110 0110, 1001 0000, 1111 0111
去掉红色的1，varint恢复为 1001 1001,1000 1000, 0111 0111 表示为16进制就是 0x998877
required sint32 argSI32 = 5;
varintMsg->set_argsi32(-100);
28 c7 01
字节28 表示编号和类型：
编号为5，类型为0，5 << 3 | 0 = 101000 | 0000 = 101000 = 32 + 8 = 40 = 0x28
字节 c7 01二进制表示为 1100 0111, 0000 0001
小端转为本地为 0000 0001， 1100 0111
去掉红色的1，varint恢复为 1100 0111 = 199 = -100 * -2 - 1，正好是-100做zigzag后varint压缩得到的值。
required sint64 argSI64 = 6;
varintMsg->set_argsi64(-200);
30 8f 03
字节30 表示编号和类型：
编号为6，类型为0，6 << 3 | 0 = 110000 | 0000 = 110000 = 32 + 16 = 48 = 0x30
字节 8f 03二进制表示为1000 1111, 0000 0011
小端转本地为 0000 0011， 1000 1111
去掉红色的1，varint恢复为11000 1111 = 399 = -200 * -2 -1，正好是-200做zigzag后varint压缩得到的值。
repeated bool argBool = 7;
varintMsg->add_argbool(true);
38 01
字节38 表示编号和类型：
编号为7，类型为0，7 << 3 | 0 = 111000 | 0000 = 111000 = 32 + 16 + 8 = 56 = 0x38
字节 01 表示值为1， 是true.
repeated bool argBool = 7;
varintMsg->add_argbool(false);
38 00
字节38 表示编号和类型：
编号为7，类型为0，7 << 3 | 0 = 111000 | 0000 = 111000 = 32 + 16 + 8 = 56 = 0x38
字节 00 表示值为 0，是false.
optional AuctionType argEnum = 8;
varintMsg->set_argenum(demo::SECOND_PRICE);
40 02
字节40表示编号和类型：
编号为3，类型为0，8 << 3 | 0 = 1000000 | 0000 = 1000000 = 64 = 0x40
字节 02 表示值为 2，是枚举的值demo::SECOND_PRICE值为2.
5.3. 消息message LenPayload的第三个字段分析：
optional Bit64 argBit64 = 3;
“1a 1b 09 56 34 12 00 00 00 00 00 11 9c ff ff ff ff ff ff ff 19 4a d8 12 4d fb 21 09 40”
字节 1a 表示编号和类型：
编号为3，类型为2，0x1a = 3 << 3 | 2 = 11000 | 0010 = 11010 = 16+8+2 = 26 = 0x1a
字节 1b 表示负载信息的长度为27。
5.3.1. message Bit64消息分析
required fixed64 argFixed64 = 1;
bit64->set_argfixed64(0x123456);
09 56 34 12 00 00 00 00 00
字节 09 表示编号和类型：
编号为1，类型为1，0x0d = 1 << 3 | 1 = 1000 | 0001 = 1001 = 8+1 = 9 = 0x09
接着8个字节表示64位数的负载信息。
"56 34 12 00 00 00 00 00"：从小端表示转成本地表示为 00 00 00 00 00 12 34 56， 表示 0x123456
required sfixed64 argSFixed64 = 2;
bit64->set_argsfixed64(-100);
11 9c ff ff ff ff ff ff ff
字节 09 表示编号和类型：
编号为2，类型为1，0x11 = 2 << 3 | 1 = 10000 | 0001 = 10001 = 16+1 = 17 = 0x11
接着8个字节表示64位数的负载信息。
"9c ff ff ff ff ff ff ff"：从小端表示转成本地表示为 ff ff ff ff ff ff ff 9c， 表示 -100
required double argDouble = 3;
bit64->set_argdouble(3.1415926);
19 4a d8 12 4d fb 21 09 40
字节 19 表示编号和类型：
编号为3，类型为1，0x19 = 1 << 3 | 1 = 11000 | 0001 = 11001 = 16+8+1 = 25 = 0x19
接着8个字节表示64位数的负载信息。
"4a d8 12 4d fb 21 09 40"：表示: 3.1415926
5.4. 消息message LenPayload的第四个字段分析：
optional Bit32 argBit32 = 4;
“22 0f 0d 34 12 00 00 15 f6 ff ff ff 1d 56 0e 49 40”
字节 22 表示编号和类型：
编号为4，类型为2，0x22 = 4 << 3 | 2 = 100000 | 0010 = 100010 = 32+2 = 34 = 0x22
字节 0f 表示负载信息的长度为15：
5.4.1. message Bit32消息分析
required fixed32 argFixed32 = 1;
bit32->set_argfixed32(0x1234);
0d 34 12 00 00
字节 0d 表示编号和类型：
编号为1，类型为5，0x0d = 1 << 3 | 5 = 1000 | 0101 = 1101 = 8+4+1 = 13 = 0x0d
接着4个字节表示32位数的负载信息。
"34 12 00 00"：从小端表示转成本地表示为 00 00 12 34， 表示 0x1234
required sfixed32 argSFixed32 = 2;
bit32->set_argsfixed32(-10);
15 f6 ff ff ff 1d
字节 15 表示编号和类型：
编号为2，类型为5，0x15 = 1 << 3 | 5 = 10000 | 0101 = 10101 = 16+4+1 = 21 = 0x15
接着4个字节表示32位数的负载信息。
"ff ff ff 1d": 表示 -10
required float argFloat = 3;
bit32->set_argfloat(3.1415);
1d 56 0e 49 40
字节 1d 表示编号和类型：
编号为3，类型为5，0x1d = 3 << 3 | 5 = 11000 | 0101 = 11101 = 16+8+4+1 = 29 = 0x1d
接着4个字节表示32位数的负载信息。
"56 0e 49 40": 表示 3.1415
测试代码：https://github.com/gityf/utils/tree/master/pb_analysis_demo
Done.
