RPC之Thrift
一、RPC基本原理
1、开发步骤
RPC(Remote Procedure Call),远程过程调用,大部分的RPC框架都遵循如下三个开发步骤:
1. 定义一个接口说明文件:描述了对象(结构体)、对象成员、接口方法等一系列信息;
2. 通过RPC框架所提供的编译器,将接口说明文件编译成具体的语言文件;
3. 在客户端和服务器端分别引入RPC编译器所生成的文件,即可像调用本地方法一样调用服务端代码;
2、通信过程
1、客户过程以正常方式调用客户桩(client stub,一段代码);
2、客户桩生成一个消息,然后调用本地操作系统;
3、客户端操作系统将消息发送给远程操作系统;
4、远程操作系统将消息交给服务器桩(server stub,一段代码);
5、服务器桩将参数提取出来,然后调用服务器过程;
6、服务器执行要求的操作,操作完成后将结果返回给服务器桩;
7、服务器桩将结果打包成一个消息,然后调用本地操作系统;
8、服务器操作系统将含有结果的消息发送回客户端操作系统;
9、客户端操作系统将消息交给客户桩;
10、客户桩将结果从从消息中提取出来,返回给调用它的客户过程;
3、和RESTful API对比
流量消耗。RESTful API 在应用层使用 HTTP 协议,哪怕使用轻型、高效、传输效率高的 JSON 也会消耗较大的流量,而 RPC 传输既可以使用 TCP 也可以使用 UDP,而且协议一般使用二制度编码,大大降低了数据的大小,减少流量消耗。
对接异构第三方服务时,通常使用 HTPP/RESTful 等公有协议,对于内部的服务调用,应用选择性能更高的二进制私有协议
二、thrift架构
Thrift是一款由Fackbook开发的可伸缩、跨语言的服务开发框架,该框架已经开源并且加入的Apache项目。Thrift主要功能是:通过自定义的Interface Definition Language(IDL),可以创建基于RPC的客户端和服务端的服务代码。数据和服务代码的生成是通过Thrift内置的代码生成器来实现的。Thrift 的跨语言性体现在,它可以生成C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml , Delphi等语言的代码,且它们之间可以进行透明的通信。
图中Your Code是用户实现的业务逻辑,接下来的FooService.Client和Foo.write()/read()是thrift根据IDL生成的客户端和服务端的代码,对应于RPC中Client stub和Server stub。TProtocol 用来对数据进行序列化与反序列化,具体方法包括二进制,JSON 或者 Apache Thrift 定义的格式。TTransport 提供数据传输功能,使用 Apache Thrift 可以方便地定义一个服务并选择不同的传输协议。
1、TTransport层
代表thrift的数据传输方式,thrift定义了如下几种常用数据传输方式
TSocket: 阻塞式socket;
TFramedTransport: 以frame为单位进行传输,非阻塞式服务中使用;
TFileTransport: 以文件形式进行传输;
2、TProtocol层
代表thrift客户端和服务端之间传输数据的协议,通俗来讲就是客户端和服务端之间传输数据的格式(例如json等),thrift定义了如下几种常见的格式
TBinaryProtocol: 二进制格式;
TCompactProtocol: 压缩格式;
TJSONProtocol: JSON格式;
TSimpleJSONProtocol: 提供只写的JSON协议;
3、thrift IDL文件
thrift IDL不支持无符号的数据类型,因为很多编程语言中不存在无符号类型,thrift支持一下几种基本的数据类型
- byte: 有符号字节
- i16: 16位有符号整数
- i32: 32位有符号整数
- i64: 63位有符号整数
- double: 64位浮点数
- string: 字符串
此外thrift还支持以下容器类型:
- list: 一系列由T类型的数据组成的有序列表,元素可以重复;
- set: 一系列由T类型的数据组成的无序集合,元素不可重复;
- map: 一个字典结构,Key为K类型,Value为V类型,相当于java中的HashMap;
thrift容器中元素的类型可以是除了service之外的任何类型,包括exception
thirft支持struct类型,目的就是讲一些数据聚合在一起,方便传输管理,struct定义形式如下:
struct People { 1:string name; 2:i32 age; 3:string gender; }
thrift支持枚举类型,定义形式如下:
enum Gender { MALE, FEMALE }
thrift支持自定义异常类型exception,异常定义形式如下:
exception RequestException { 1:i32 code; 2:string reason; }
thrift定义服务相当于Java中创建接口一样,创建的service经过代码生thrift代码生成工具编译后就会生成客户端和服务端的框架代码,service的定义形式如下:
service HelloWorldService { // service中可以定义若干个服务,相当于Java Interface中定义的方法 string doAction(1:string name, 2:i32 age); }
thrift支持给类型定义别名,如下所示:
typedef i32 int typedef i64 long
thrift也支持常量的定义,使用const关键字:
const i32 MAX_RETRIES_TIME = 10; const string MY_WEBSITE = "http://facebook.com";
thrift支持命名空间,命名空间相当于Java中的package,主要用于组织代码,thrift使用关键字namespace定义命名空间,格式是namespace 语言名 路径,如下示例所示:
namespace java com.test.thrift.demo