手写RPC框架

参考视频：https://www.imooc.com/learn/1158

参考博客：https://www.zhihu.com/question/25536695/answer/221638079

理论部分：

本地过程调用

RPC就是要像调用本地的函数一样去调远程函数。在研究RPC前，我们先看看本地调用是怎么调的。假设我们要调用函数Multipl

y来计算lvalue * rvalue的结果:

?

1 2 3 4 5 6 7 8

1 int Multiply(int l, int r) { 2    int y = l * r; 3    return y; 4 } 5 6 int lvalue = 10; 7 int rvalue = 20; 8 int l_times_r = Multiply(lvalue, rvalue);

 

那么在第8行时，我们实际上执行了以下操作：

1. 将 lvalue 和 rvalue 的值压栈
2. 进入Multiply函数

2. ，取出栈中的值10 和 20，将其赋予 l 和 r
3. 执行第2行代码，计算 l * r ，并将结果存在 y
4. 将 y 的值压栈，然后从Multiply返回
5. 第8行，从栈中取出返回值 200 ，并赋值给 l_times_r

以上5步就是执行本地调用的过程。（20190116注：以上步骤只是为了说明原理。事实上编译器经常会做优化，对于参数和返回值少的情况会直接将其存放在寄存器，而不需要压栈弹栈的过程，甚至都不需要调用call，而直接做inline操作。仅就原理来说，这5步是没有问题的。）

 

远程过程调用带来的新问题

在远程调用时，我们需要执行的函数体是在远程的机器上的，也就是说，Multiply是在另一个进程中执行的。这就带来了几个新问题：

1. Call ID映射。我们怎么告诉远程机器我们要调用Multiply，而不是Add或者FooBar呢？在本地调用中，函数体是直接通过函数指针来指定的，我们调用Multiply，编译器就自动帮我们调用它相应的函数指针。但是在远程调用中，函数指针是不行的，因为两个进程的地址空间是完全不一样的。所以，在RPC中，所有的函数都必须有自己的一个ID。这个ID在所有进程中都是唯一确定的。客户端在做远程过程调用时，必须附上这个ID。然后我们还需要在客户端和服务端分别维护一个 {函数 <--> Call ID} 的对应表。两者的表不一定需要完全相同，但相同的函数对应的Call ID必须相同。当客户端需要进行远程调用时，它就查一下这个表，找出相应的Call ID，然后把它传给服务端

• ，服务端也通过查表，来确定客户端需要调用的函数，然后执行相应函数的代码。
• 序列化和反序列化。客户端怎么把参数值传给远程的函数呢？在本地调用中，我们只需要把参数压到栈里，然后让函数自己去栈里读就行。但是在远程过程调用时，客户端跟服务端是不同的进程，不能通过内存来传递参数。甚至有时候客户端

2. 和服务端使用的都不是同一种语言（比如服务端用C++，客户端用Java或者Python）。这时候就需要客户端把参数先转成一个字节流，传给服务端后，再把字节流转成自己能读取的格式。这个过程叫序列化和反序列化。同理，从服务端返回的值也需要序列化反序列化的过程。
3. 网络传输。远程调用往往用在网络上，客户端和服务端是通过网络连接的。所有的数据都需要通过网络传输，因此就需要有一个网络传输层。网络传输层需要把Call ID和序列化后的参数字节流传给服务端，然后再把序列化后的调用结果传回客户端。只要能完成这两者的，都可以作为传输层使用。因此，它所使用的协议其实是不限的，能完成传输就行。尽管大部分RPC框架都使用TCP协议，但其实UDP也可以，而gRPC干脆就用了HTTP2。Java的Netty也属于这层的东西。

有了这三个机制，就能实现RPC了，具体过程如下：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

// Client端 //    int l_times_r = Call(ServerAddr, Multiply, lvalue, rvalue) 1. 将这个调用映射为Call ID。这里假设用最简单的字符串当Call ID的方法 2. 将Call ID，lvalue和rvalue序列化。可以直接将它们的值以二进制形式打包 3. 把2中得到的数据包发送给ServerAddr，这需要使用网络传输层 4. 等待服务器返回结果 5. 如果服务器调用成功，那么就将结果反序列化，并赋给l_times_r   // Server端 1. 在本地维护一个Call ID到函数指针的映射call_id_map，可以用std::map<std::string, std::function<>> 2. 等待请求 3. 得到一个请求后，将其数据包反序列化，得到Call ID 4. 通过在call_id_map中查找，得到相应的函数指针 5. 将lvalue和rvalue反序列化后，在本地调用Multiply函数，得到结果 6. 将结果序列化后通过网络返回给Client

 

所以要实现一个RPC框架，其实只需要按以上流程实现就基本完成了。

其中：

• Call ID映射可以直接使用函数字符串

• ，也可以使用整数ID。映射表一般就是一个哈希表。
• 序列化反序列化可以自己写，也可以使用Protobuf或者FlatBuffers之类的。
• 网络传输库可以自己写socket，或者用asio，ZeroMQ，Netty之类。

当然，这里面还有一些细节可以填充，比如如何处理网络错误，如何防止攻击，如何做流量控制，等等。但有了以上的架构，这些都可以持续加进去。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

具体实现：

略

 

 

 协议制定：Requst,Response,Peer

 

1.创建一个jetty的Server，起到网络监听的作用。

ServletContextHandler ctx = new ServletContextHandler();

2.我们是基于Servlet做的网络处理，所以还要把ServletContextHandler注册到jetty的Server里去。

server.setHandler(ctx);

3.还需要一个ServletHolder去托管Servlet（RequestServlet）

ServletHolder holder = new ServletHolder(new RequestServlet());

 具体的数据的接收以及数据的写回都是在Servlet里做的。

+ View Code?

1 2 3 4 5 6 7 8 9 10 11 12 13 14

class RequestServlet extends HttpServlet {         @Override         protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {             log.info("client connect");             ServletInputStream in = req.getInputStream();             ServletOutputStream out = resp.getOutputStream();               if (handler != null) {                 handler.onRequest(in, out);             }               out.flush();         }     }

 

 

 

  该手写的rpc框架要是应用的话还有哪些方面需要弥补：

1. 安全性：我们在通讯的过程中是基于json序列化来做数据传输,并且对网络通道也没有做安全校验，比如身份信息的校验，但是我们基于http的话我们可以简单地走一个https，这样它本身对数据是有一个安全控制的，当然还可以进一步的对序列化做一些加密，或者是我们在做网络连接的时候做一些身份的验证。
2.  服务端的处理能力：我们在实现server的transport（HttpTransportServer）的时候,我们是基于jetty的Server来做的，而jetty的Server里面本身就有线程池来处理client请求的，但是若我们想把这个rpc框架用到线上的话，这个线程池最好是我们自己去做，而且这个线程在跑完且返回数据的时候，返回数据的这个通道最好要做成队列的形式。
3. 注册中心：对rpc框架是一个锦上添花的作用，没有的话也不影响，它的作用是对server地址的注册，client可以通过这个注册中心自动的去发现server的地址。
4. 集成能力：即如何与其他框架（如springboot结合），可以简单地做一个springboot-start去自动的帮我们创建sever和client，里面通过beanFactory去自动的帮我们创建这个代理对象。