python rpc,远程过程调用
python RPC框架
RPC 介绍
RPC 是指 远程过程调用, 简单点说就是 两台服务器 A,B 一个应用部署在 A 服务器上,想要调用 B 服务器上应用提供的函数或方法, 由于不在一个内存空间,不能直接调用。需要通过网络来表达调用的语义 和 传达调用的数据, 放回的结果
简略的来讲,RPC 的目的就是像调用本地的函数一样,去调用远程服务器中的函数。
RPC(Remote Procedure Call)服务,也即远程过程调用,在互联网企业技术架构中占据了举足轻重的地位,尤其在当下微服务化逐步成为大中型分布式系统架构的主流背景下,RPC 更扮演了重要角色。Google 开源了 gRPC,Facebook 开源了 Thrift,Twitter 开源了 Finagle,百度开源了 bRPC,腾讯开源了 Tars,阿里开源了 Dubbo 和 HSF,新浪开源了 Motan 等,一线互联网大厂们纷纷亮出自己研制的 RPC 框架武器,在解决分布式高并发业务问题的同时,也向外界展示自己的技术实力。
dubbo和rpc的关系
RPC(Remote Procedure Call)远程过程调用,通俗地讲RPC就是要解决远程服务间的调用问题,也就是管理服务配置并提供便捷可靠高效的服务间调用。
我们来看看dubbo的定义:dubbo是一个分布式的服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案。
也就是说dubbo是rpc(远程过程调用)框架的一种典型实现;
微服务和prc的关系
严格来说微服务属于RPC的一种,但是广义上的RPC指的是项目之间的调用。例如校园网系统中的各个系统就是用RPC调用的,所以RPC指的是项目之间的调用。RPC是把单体项目做了粗粒度的拆分,而微服务把单体项目拆分的更零碎。
因为RPC是独立系统之间的调用,所以不太注重事务的一致性。毕竟独立系统各自使用的数据库也不同,没办法组成全局的分布式事务。而微服务更注重分布式事务,微服务原本是一个系统,拆分出来的各个模块,所以模块之间应该有分布式事务。比如支付模块和代金券模块就应该被纳入到全局事务中。否则我们支付失败,但是代金券却使用成功了。按理说应该一起回滚,是吧。
feign算不算rpc
算,RPC 现在广义上讲已不单纯只是传统意义上的 TCP 协议,已包括好多网络 4 层/7 层协议,目前主流方式是 TCP/HTTP 协议,feign 内部集成 Ribbon,主体功能依赖 Ribbon 实现,Ribbon 主要通过 RestTemplete 实现,是一种基于 HTTP 协议的 RPC 实现方式。
我觉得算,达到的效果都差不多
一般的说 rpc 指的是 socket(TCP)加反射代理那一套,速度更快,可同步异步调用,效率更高,如果把 socket 换成 http 也能实现相同的功能(使用 webflux),所以没啥好纠结的
RPC 的通讯方式
RPC 主要通过在客户端和服务端之间建立 TCP 连接,远程过程调用的所有交换的数据都在这个连接里面传输。连接可以是按需连接,调用结束后就断掉,也可以是长连接,多个远程过程调用共享同一个连接。
RPC 通信,需要解决寻址问题。即 A 服务器上的应用怎么告诉底层的RPC 框架,如何连接到B 服务,以及特定的端口号,方法的名称等待。比如基于 Web 服务协议栈的 RPC,就要提供一个 endpoint URI,或者是从 UDDI 服务上查找。如果是 RMI 调用的话,还需要一个 RMI Registry 来注册服务的地址。
在调用过程中, 方法的参数也需要通过底层的网络协议如TCP 传递到B 服务器,由于网络协议是基于二进制的,内存中的参数的值要序列化成二进制的形式,也就是序列化(Serialize)或编组(marshal),通过寻址和传输将序列化的二进制发送给 B 服务器。
B 服务器收到请求后,需要对参数进行反序列化(序列化的逆操作),恢复为内存中的表达方式,然后找到对应的方法(寻址的一部分)进行本地调用,然后得到返回值。
返回值还要发送回服务器 A 上的应用,也要经过序列化的方式发送,服务器 A 接到后,再反序列化,恢复为内存中的表达方式,交给 A 服务器上的应用。
Python中RPC框架
自带的:SimpleXMLRPCServer(数据包大,速度慢)
第三方:ZeroRPC(底层使用ZeroMQ和MessagePack,速度快,响应时间短,并发高),grpc(谷歌推出支持夸语言)
SimpleXMLRPCServer使用
服务端
from xmlrpc.server import SimpleXMLRPCServer
class RPCServer(object):
def __init__(self):
super(RPCServer, self).__init__()
print(self)
self.send_data = 'lqz nb'
self.recv_data = None
def getObj(self):
print('get data')
return self.send_data
def sendObj(self, data):
print('send data')
self.recv_data = data
print(self.recv_data)
# SimpleXMLRPCServer
server = SimpleXMLRPCServer(('localhost',4242), allow_none=True)
server.register_introspection_functions()
server.register_instance(RPCServer())
server.serve_forever()
客户端
import time
from xmlrpc.client import ServerProxy
# SimpleXMLRPCServer
def xmlrpc_client():
print('xmlrpc client')
c = ServerProxy('http://localhost:4242')
data = 'lxx nb'
start = time.clock()
for i in range(500):
a=c.getObj()
print(a)
for i in range(500):
c.sendObj(data)
print('xmlrpc total time %s' % (time.clock() - start))
if __name__ == '__main__':
xmlrpc_client()
下面是使用 Python 的内置 xmlrpc 模块实现 RPC 的示例:
server.py
from xmlrpc.server import SimpleXMLRPCServer
def add(x, y):
return x + y
server = SimpleXMLRPCServer(("localhost", 8000))
server.register_function(add, "add")
server.serve_forever()
client.py
import xmlrpc.client
client = xmlrpc.client.ServerProxy("http://localhost:8000")
print(client.add(2, 3)) # prints 5
还有一种是使用zerorpc,性能较高
server端:
import zerorpc
class RPCServer(object):
def __init__(self):
super(RPCServer, self).__init__()
self.send_data = 'helloworld'
self.recv_data = None
def getObj(self):
return self.send_data
def sendObj(self, data):
self.recv_data = data
s = zerorpc.Server(RPCServer())
s.bind('tcp://127.0.0.1:8888')
s.run()
client端:
import zerorpc
import time
def client():
c = zerorpc.Client()
c.connect('tcp://127.0.0.1:8888')
a=c.getObj()
print(a)
c.sendObj(a)
if __name__ == '__main__':
client()
这是我的备用方案