解密Protobuf：高效数据传输的秘密武器

简介

Protocol Buffers(简称Protobuf)是由Google开发的一种用于数据序列化技术。与传统的XML和JSON相比，Protobuf具有更高的性能和更小的消息体积，特别适用于需要高效数据交换的场景

特点

  1. 速度快：Protobuf在序列化与反序列化数据时速度极快
  2. 占空间小：Protobuf序列化后的二进制数据非常小，可节省大量的存储和带宽
  3. 跨平台：Protobuf支持多种编程语言(常见的几乎都支持)，兼容性好
  4. 易扩展：使用.proto文件定义数据结构(包括字段类型、默认值和验证规则等)，添加新内容时，也可以轻松做到，不会破坏现有系统
  5. 简单易用：只需专注.proto数据结构文件的编写，对应的序列化与反序列化代码可自动生成

使用场景

  • 分布式系统：各服务之间需要频繁地进行数据交换，Protobuf可以显著提高通信效率
  • 存储和持久化：Protobuf能节省很多存储空间，常用于日志记录、配置文件和数据持久化
  • 移动应用：在网络带宽和存储空间有限的情况下，Protobuf能更好地提高性能

Proto

proto是protobuf定义数据结构的一种格式，用.proto后缀的文件保存，使用proto编译器可以把对应的proto结构编译为各目标语言的序列化与反序列化代码库

简单的使用模拟

  • 使用proto语法(规则)定义我们的数据结构，保存在.proto后缀的文件内

  • 使用proto编译器编译.proto文件，指定要编译成目标语言环境(Java、Python等)

    • 结果将会生成对应语言的一个代码文件(内包含对应数据序列化与反序列化相关操作的类或函数)

  • 接着使用生成的代码文件即可

Proto语法

首先，先看一则消息结构，如下：

syntax = "proto3";

message Student {
  string id = 1;
  string name = 2;
  int32 age = 3;
}
  • proto3表示使用的proto版本，如不如上指明，编译器会默认为proto2
  • message Student表示定义一个名为Student的消息结构
  • {}内为消息的字段，采用类型 字段名 = 编号;的形式描述

字段类型

proto的类型主要有三类：标量类型、枚举或复合类型(如其它消息类型)

标量类型

常用的标量类型如下：

proto类型 注释 对应C++类型
double 双精度浮点数 double
float 单精度浮点数 float
int32 使用可变长度编码，对负数编码效率不高 - 如果字段可能具有负值，可使用 sint32 int32
int64 使用可变长度编码，对负数编码效率不高 - 如果字段可能具有负值，可使用 sint64 int64
uint32 使用可变长度编码 uint32
uint64 使用可变长度编码 uint64
sint32 使用可变长度编码，有符号 int 值，与常规 int32 相比，可更有效地对负数进行编码 int32
sint64 使用可变长度编码，有符号 int 值，与常规 int64 相比，可更有效地对负数进行编码 int64
fixed32 始终为四个字节，如果值通常大于 228，则比 uint32 更高效 uint32
fixed64 始终为八个字节，如果值通常大于 256，则比 uint64 更高效 uint64
sfixed32 始终为四个字节 int32
sfixed64 始终为八个字节 int64
bool 布尔值 bool
string 字符串必须始终包含 UTF-8 编码或 7 位 ASCII 文本，并且不能长于 232 string
bytes 可能包含不长于 232 的任何任意字节序列 string

上表值给出了C++中对应的类型参考，其它语言亦有与proto对应的类型，具体可自行搜查

默认值：当解析消息时，如果编码的消息不包含某些元素，则访问解析对象中的相应字段将返回该字段的默认值，默认值相关于类型：

  • 对于字符串，默认值为空字符串
  • 对于字节，默认值为空字节
  • 对于布尔值，默认值是false
  • 对于数字类型，默认值是0
  • 对于枚举，默认值是第一个定义的枚举值，它必须是0
枚举

定义一个类型，值为预定义值列表中的一个值

如下，是一个枚举参考：

enum Week {
  MONDAY = 0;
  TUESDAY = 1;
  WEDNESDAY = 2;
  THURSDAY = 3;
  FRIDAY = 4;
  SATURDAY = 5;
  SUNDAY = 6;
}
  • 每个枚举都需要一个常量(32位整数范围内)
  • 第一个需要为零

保留值：定义完一个枚举后，之后某个时间点可能由于业务需要，要修改其结构，或删除一些项，如果仅是注释掉或直接删除，会导致枚举的常量值不连续，后续其它开发者可以使用这些值新增其它枚举项，如果他们后续又加载相同.proto的旧版本，可能会导致严重的问题(如数据损坏等)

为了防止这种问题发生，我们可以用reserved将这些删除项的常量值声明为保留值，防止后续开发者使用

enum Test {
  reserved 3, 5, 7 to 12, 37 to max;
  reserved "FIR", "CAR";
}

  • reserved后跟保留内容

  • 数字表示保留常量

  • 字符串表示保留字段名称

  • to用于连接连续的一段值

  • max表示指定常量数字范围的最大可能值

  • 同一个reserved语句中不能同时混合字段名称和数字值

其它消息类型

表示用message定义的其它消息类型

嵌套消息

消息除了一个个定义，还可嵌套定义，如下：

message UserInfo {
  message Avatar {
    string url = 1;
    string date = 2;
  }
  string nickname = 1;
  string sign = 2;
  Avatar avatar = 3;
}
  • 在消息内部定义的消息，即为嵌套消息，内部可通过其名称直接使用
  • 外部如想使用嵌套消息，可通过_Parent_._Type_的形式引用，如：UserInfo.Avatar

如果想用其它.proto文件内定义的类型，可在文件头使用import文件路径导入指定文件使用

映射

使用关键字map创建、声明，配对键/值字段类型

形式为：map<key, value> name = N;

  • key可以是数字或字符串类型(即除了浮点数和 bytes 外的所有标量类型)
  • value可以是任何类型，处理另一个map

举例一个映射如下

message Request {
  string url = 1;
  map<string, string> headers = 2;
}

字段编号

定义消息字段时，必须给每个字段都分配一个编号，数值在1到536,870,911之间

  • 给定的数值必须在该消息的所有字段中唯一
  • 编号19,000至19,999为Protobuf实现保留，不可用
  • 不可使用reserved定义的保留值

建议使用1到15的数字设置常用字段，因为它们只需一个字节进行编码，16之后的数字至少需要两个字节

字段标签

用于声明在定义字段的类型前，起到某种作用

  • required：表示字段为必填字段，创建消息时，必须设置该字段的值

  • optional：表示字段是可选字段，创建消息时，可设置值也可不设置，消息接收方如可识别，则对应处理，如不可识别则忽略

  • repeated：表示该字段可重复0~N个，保留重复值的顺序，即相当于一个数组、列表

保留字段

与上方枚举提到的用法类型，通过reserved定义保留编号和保留字段名称

注释

proto采用与C/C++同样式的注释方法：//或/* ... */

包

为了防止协议消息类型之间的名称冲突，可以在.proto文件中添加可选的package说明符

package foo;
message Test { ... }

定义消息类型的字段时可带上包说明符foo.Test bar = 1;

在编译为不同语言时，会做不同处理，如：对于java解析为java中的包，对于C++则解析为名称空间

后言

protobuf使用非常广泛，如很多平台的视频、直播间弹幕流即是使用这种技术传输，如有需要，还可对序列化消息进行gzip压缩，进一步减少消息体积，节省带宽，提高传输速度

posted @ 2024-08-18 15:10  深坑妙脆角  阅读(118)  评论(0)  编辑  收藏  举报