Java程序员的现代RPC指南
Java程序员的现代RPC指南
1.前言
1.1 RPC框架简介
最早接触RPC还是初学Java时，直接用Socket API传东西好麻烦。于是发现了JDK直接支持的RMI，然后就用得不亦乐乎，各种大作业里凡是涉及到分布式通信的都用RMI，真是方便。后来用上了Spring，发现Spring提供了好多Exporter，可以无侵入地将一个POJO暴露为RPC服务。
接触了这么多RPC框架后，发现当时公司内部自己实现了一套支持压缩、加密等附加功能的RPC基础框架，于是就读了一下源码，发现原来自己实现个简单的RPC挺简单啊，选好序列化框架后用反射为服务接口生成存根就行了。核心技术就是：序列化和动态反射。
前一阵子又接触到了多语言支持的RPC框架。其实传统的方式也是能支持多种编程语言的，只要序列化框架为多种语言都提供了版本支持，那么序列化后使用相同的网络协议传输就能实现跨语言的RPC了，这也是最轻量级的自制RPC了，灵活但是手动工作量比较大。再就是重量级的SOAP WebService或简单方便的REST，后者一般采用JSON格式携带数据，最典型的场景就是前后台的服务调用，从JS到Java的RPC。
本文要重点介绍的则是另外一套RPC框架。相比一般的RPC框架来说，它能够支持多种语言间的RPC；相比WebService，它却没有SOAP那么重量级，又比轻量级的REST高效。对于组件之间需要频繁通信、又对性能要求较高的分布式系统来说，它是不错的解决方案。
1.2 Protobuf vs. Thrift
Protobuf全名为Protocol Buffer，是Google推出的支持多语言的RPC基础设施。通过自定义语言无关的IDL文件和Protoc代码生成器达到跨语言RPC通信的目的。但也正因为跨语言，与我们仅限于Java的那些RPC框架相比稍显复杂一些。之前研究Protobuf序列化性能时，也正因这一点而采用了Java简化版Protostuff，详情请见《序列化战争：主流序列化框架Benchmark》。
Thrift是Facebook推出的RPC框架，与PB相比提供了内建的RPC支持，而PB开源版里并没有RPC功能（也是后面实践时才发现的）。Thrift的RPC提供了多种网络模式和序列化的选项，可以根据不同场景来灵活搭配使用。
关于Protobuf、Thrift以及本文未涉及的Avro，在《大数据日知录》里有具体的比较，感兴趣的可以参考一下。
1.3 核心技术
前面说了传统RPC框架的核心技术，“现代”RPC为了支持多语言所以稍显复杂一点儿。核心技术主要有：IDL、代码生成器、序列化、RPC：
- 在IDL文件中通过不与具体编程语言相关的语法定义通信类
- 利用代码生成器生成出Java语言对应的代码
- 引入框架的运行时Jar包，获得序列化、RPC等能力
所以前两者决定了框架对不同编程语言的支持能力，而后两者决定了运行时的调用性能。
2.Maven集成
不管使用哪种框架，既然涉及到了代码生成，那就要想法与项目构建的过程结合到一起。这里以Java项目最常用的Maven为例，看一下如何将代码生成器与Maven相结合，并且有哪些注意事项。
2.1 Compile阶段
按照我们的设想，代码生成过程应该在编译阶段，这样生成的代码就能跟已有代码一起被编译、打包、发布，两者没有什么差别。一旦修改了IDL，直接编译就能看到最新生成的代码了，这就是我们想要的效果。
2.2 Ant集成插件
因为有些框架并不提供专门的插件，所以与Maven最简单通用的集成方法就是采用maven-antrun-plugin插件。此插件可以执行任意命令，标准写法如下：
<build>
<plugins>
<plugin>
<artifactId>maven-antrun-plugin</artifactId>
<executions>
<execution>
<id>generate-sources</id>
<phase>generate-sources</phase>
<configuration>
<tasks>
<exec executable="xxx.exe">
<arg value="arg1 arg2 ..."/>
</exec>
</tasks>
<sourceRoot>target/generated-sources</sourceRoot>
</configuration>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>3.Protobuf实战
3.1 编写IDL
语法非常简单，其中java_generic_services选项决定是否生成Service类，默认不生成，据说是不建议使用。
package com.test;
option java_generic_services = true;
message Request
{
required int32 type = 1;
}
message Response
{
required int32 cpu = 1;
required int32 memorySize = 2;
}
service AgentService
{
rpc detectHardware(Request) returns (Response);
}3.2 Protoc编译
Windows版预编译好的protoc.exe支持C++，Java，Python三种最常用的语言，如果你只使用这几种语言的话那就很简单了。之所以把Protobuf相关文件都放到src/protobuf而非src/main/resources下是因为：src/main/resources里东西默认会被包含到最终的jar里。如果我们不想把protoc.exe和一堆.proto文件打到jar包里发布的话，要么加一个Maven的拷贝filter，或者像本文的方法将Protobuf相关文件都放到src/protobuf下。
<build>
<plugins>
<plugin>
<artifactId>maven-antrun-plugin</artifactId>
<executions>
<execution>
<id>generate-sources</id>
<phase>generate-sources</phase>
<configuration>
<tasks>
<exec executable="src/protobuf/protoc.exe" failonerror="true">
<arg value="--java_out=src/main/java"/>
<arg value="src/protobuf/idl/*.proto"/>
</exec>
</tasks>
<sourceRoot>target/generated-sources</sourceRoot>
</configuration>
<goals>
<goal>run</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>3.3 使用源码
以下是利用Protobuf生成的代码进行序列化和反序列化的示例。由于缺少RPC功能，所以也只能测试一下序列化功能了。
public class PbRpcTest {
public static void main(String[] args) throws InvalidProtocolBufferException {
// Build request
Agent.Request.Builder reqBuilder = Agent.Request.newBuilder();
reqBuilder.setType(1);
Agent.Request req = reqBuilder.build();
System.out.println(req);
// Parse from bytes
byte[] bytes = req.toByteArray();
Agent.Request req2 = Agent.Request.parseFrom(bytes);
System.out.println(req2.getType());
}
}4.Thrift
4.1 编译IDL
与Protobuf的IDL相似，Thrift的IDL也很简单。
namespace java com.test
service AgentService {
string detectHardware()
}4.2 Java
Thrift支持多种网络和序列化模式，这里采取最简单的同步阻塞和二进制序列化的方式。
public class RpcClientTest {
public static void main(String[] args) throws TException {
TSocket transport = new TSocket("127.0.0.1", 8090);
TProtocol protocol = new TBinaryProtocol(transport);
AgentService.Client client = new AgentService.Client(protocol);
transport.open();
System.out.println(client.detectHardware());
}
}
public class RpcServerTest {
public static void main(String[] args) throws TTransportException {
AgentService.Processor<AgentService.Iface> processor = new AgentService.Processor<AgentService.Iface>(
new AgentServiceImpl()
);
TServerSocket transport = new TServerSocket(8090);
TServer.Args tArgs = new TServer.Args(transport);
tArgs.processor(processor);
tArgs.protocolFactory(new TBinaryProtocol.Factory());
TServer server = new TSimpleServer(tArgs);
server.serve();
}
}
public class AgentServiceImpl implements AgentService.Iface {
@Override
public String detectHardware() throws TException {
return "hello";
}
}4.3 Python
Python要想运行时支持Thrift，也需要安装相应的插件。我是在Windows下的Cygwin中完成安装的，然后在cmd中执行却报错还是没找到thrift模块，结果发现是cmd和Cygwin默认执行的Python版本不一样。汗，之前可能2和3都装了忘记了，生成的代码用Python 3运行的话会有问题：
$ tar -xzvf thrift-0.9.3.tar.gz
$ cd thrift-0.9.3/
$ python setup.py install注意一定要指定IP地址，否则Java客户端调用Python服务端时会报”Connection refused”错误，详见Stackoverflow上的问题解答。
import sys, glob
sys.path.append('gen-py')
#sys.path.insert(0, glob.glob('../../lib/py/build/lib*')[0])
from agent import AgentService
from agent.ttypes import *
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer
class AgentServiceHandler:
def __init__(self):
print('init')
def detectHardware(self):
print('detect!')
return 'hello~~~'
handler = AgentServiceHandler()
processor = AgentService.Processor(handler)
transport = TSocket.TServerSocket(host="127.0.0.1", port=8090)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory()
server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)
print('Starting the server...')
server.serve()
print('done.')这就是目录结构，现在就可以启动服务端，客户端仍然用之前的Java客户端，调用成功！
$ tree py-demo/ -I "*.pyc"
py-demo/
|-- agent.thrift
|-- gen-py
| |-- __init__.py
| `-- agent
| |-- __init__.py
| |-- __pycache__
| |-- AgentService.py
| |-- AgentService-remote
| |-- constants.py
| `-- ttypes.py
|-- server.py
`-- thrift-0.9.3.exe
$ python server.py
init
Starting the server...
detect!4.总结
与直接使用Java其他RPC框架相比的确麻烦了一些，例如Spring中就自带了一些Exporter可以无侵入的实现RPC服务。但熟悉了Protobuf和Thrift以后发现实际上还是挺方便的，而且Windows版预编译好的Protoc支持C++，Java，Python三种最常用的语言，Thrift则支持几乎主流的各种语言，足够我们使用了。
参考资料：
