grpc与protobuf使用
rpc是一种server、client间的分发方式。
protobuf是google推出的一种高效的序列化方式,可以用于client、server间的通信,grpc就是用Google提出的用protobuf格式数据作为传输在她的一种rpc策略。
一、grpc基础
建议参看官方基础教程, 总的来说,有以下关键点:
1. .proto文件
message类似于C++中的结构体,语法也类似于C++;
rpc定义的则是一个rpc功能,接受request,回复response
例:new.proto
syntax = "proto3"; // 用第三版的proto语法 service NewAnalyse{ // 服务名 rpc Abnormal(ImgRequest) returns (AbnormalResponse); // 这里定义了两种功能 rpc Target(TargetRequest) returns (TargetResponse); } message Img { bytes data = 1; // 这里数字 1 应该是protobuf格式用于标记使用的(不用传输名称),对我们来说没什么用 int32 width = 2; // image width int32 height = 3; // image height int32 channels = 4; // RGB as default: 3 } message ImgRequest { Img image = 1; // message结构可以作为类型使用 } message AbnormalResponse { string resu = 1; float conf = 2; // eg: 0.953 }
2. 生成上面.proto文件的python版本
pip install grpc-tools # 需要先安装grpc工具
根据.proto文件,生成两个.py文件。这里生成功能文件new_pb2.py,new_pb2_grpc.py。(这里的2指的用于生成.py文件的API的version是2)
python -m grpc_tools.protoc -I. --python_out=./grpc_out/ --grpc_python_out=./grpc_out/ new.proto # -I指定源文件在的目录,new.proto就是源文件,后面两个参数指定生成的.py文件的位置
3. 根据功能文件定义client、server的代码
两个功能文件相当于将我们在.proto文件中定义的结构和功能都python化了,接下来我们只需要根据这两个文件编程即可。 ——内容可以参考博客
new_server.py
import grpc from grpc_out.new_pb2 import * from grpc_out.new_pb2_grpc import NewAnalyseServicer, add_NewAnalyseServicer_to_server # the implementation of interfaces in NewAnalyseServicer class NewAnalyse(NewAnalyseServicer): def __init__(self) -> None: pass def Abnormal(self, request, context): ''' 具体实现该功能,得到xx和yy ''' return AbnormalResponse(resu = xx, conf = yy)
# 定义服务执行的方式 def serve(): server = grpc.server(futures.ThreadPoolExecutor(max_workers=10)) add_NewAnalyseServicer_to_server(NewAnalyse(), server) # add servicer to server server.add_insecure_port('[::]:50000') # 指定本地端口50000 server.start() server.wait_for_termination() # 将在server终止时终端活动的线程 if __name__ == "__main__": serve()
new_client.py
import grpc from PIL import Image from grpc_out.new_pb2 import * from grpc_out.new_pb2_grpc import NewAnalyseStub def run(): with grpc.insecure_channel('10.10.0.11:50000') as channel: # with这一块执行结束后,channel也将关闭;这里10.10.0.11是监听的目标ip,也可也换成localhost,那就是监听本地的127.0.0.1:50000 stub = NewAnalyseStub(channel) img_path = './ke.jpg' img = np.array(Image.open(img_path)) height, width, channels = img.shape image = Img(data=np.ndarray.tobytes(img), height=height, width=width, channels=channels, img_type=img_path[img_path.rfind('.'):]) response = stub.Abnormal(ImgRequest(image=image))
print(response.resu) # 用点运算符访问 if __name__ == "__main__": run()
4. 运行
在一个终端内执行python new_server.py,另一个终端内执行python new_client.py。
如果没有问题,server端将根据收到功能请求和request,调用相应的功能函数,并返回结果,由rpc将结果返回到client端。
二、实践和问题解析
1. repeated类型
如果message中有一个元素数目不定,可以为它加上关键词repeated,可以理解为变长数组。
message TargetResponse { repeated string target = 1; }
在server代码中为repeated类型赋值的方法有两种
res = TargetResponse() # 1. 用add() targ = res.target.add() targ = 'xx' targ2 = res.target.add() targ2 = 'yy' ... # 2. 用append()和extend() targ = 'xx' res.target.append(targ) targ2 = 'yy' res.target.append(targ2)
res.target.extend([targ, targ2])
res.target.remove(targ) # 删除
在client代码中读取repeated类型的方法,和list类型的读取方法相同
for res in TargetResponse.target: ...
2. repeated和结构体不可直接赋值
1)指定域名和域变量赋值
# repeated类型不能直接赋值 TargetResponse.target = 'xx' # 错误 # 结构体不能直接赋值 image = Img() image.height = .. image.width = .. ... Response.image = image # 错误
Response.image.height = .. # 正确 Response.image.width = ..
2)使用CopyFrom个message赋值 ——参考stackoverflow
Response.image.CopyFrom(image)
* 执行时出现错误 Exception calling application: 1.0 has type float, but expected one of: bytes, unicode
在server代码中加print找出错点——proto中的类型和实现代码中的类型不一致
3. 传输的数据超出大小限制 ——参考StackOverflow
默认的数据大小限制为4MB(4194304B),普通的传输时是可以通过的,可以通过更改限制进行修改,修改的单位是byte,如下:
# server server = grpc.server(futures.ThreadPoolExecutor(max_workers=10), options = [ ('grpc.max_send_message_length', MAX_MESSAGE_LENGTH), ('grpc.max_receive_message_length', MAX_MESSAGE_LENGTH) ]) # client channel = grpc.insecure_channel('localhost:50051', options=[ ('grpc.max_send_message_length', MAX_MESSAGE_LENGTH), ('grpc.max_receive_message_length', MAX_MESSAGE_LENGTH) ])
* 其中MAX_MESSAGE_LENGTH是是数字,以byte为单位
4. 流式传输的使用,以视频传输为例 ——另一篇博客
5. 异常处理 ——更多参考文档
下面的例子是写在client中的,捕获的异常则是来自server,这个异常server自己无法捕获。
try: ... expect grpc.RpcError as rpc_error: print(rpc_error) if rpc_error.code() == grpc.StatusCode.UNKNOWN: print(rpc_error.details())