python调用rpc实现分布式系统

rpc 一般俗称，远程过程调用，把本地的函数，放到远端去调用。

通常我们调用一个方法，譬如: sumadd(10, 20)，sumadd方法的具体实现要么是用户自己定义，要么存在于该语言的库函数中，也就说在sumadd方法的代码实现在本地，它是一个本地调用！

“远程调用”意思就是：被调用方法的具体实现不在程序运行本地，而是在别的某个地方（分布到各个服务器），但是用起来像是在本地。

 

 

rpc远程调用原理 :

 

比如 A调用B提供的remoteAdd方法：

 

首先A与B之间建立一个TCP连接；

 

然后A把需要调用的方法名（这里是remoteAdd）以及方法参数（10， 20）序列化成字节流发送出去；

 

B接受A发送过来的字节流，然后反序列化得到目标方法名，方法参数，接着执行相应的方法调用（可能是localAdd）并把结果30返回；

 

A接受远程调用结果,然后do()。

 

RPC框架也就是把上线说的具体的细节封装起来，给用户好用的API使用（提示：有些远程调用选择比较底层的socket协议，有些远程调用选择比较上层的HTTP协议）；

 

一般rpc配合http协议的多点，也就是走http的多。 当然还是看应用，我曾经一共的rpc框架是基于zeromq的zerorpc。速度是挺快，server和client都有python的gevent支持，速度没道理慢。（有兴趣的，可以看看有关zerorpc的文章 http://rfyiamcool.blog.51cto.com/1030776/1254000 ）最少要比python本身的xml-rpc要快。 rpc over http（基于http的rpc）有两种协议，一种是xml-rpc ，还有一个是 json-rpc。

 

 

XML-RPC:XML Remote Procedure Call，即XML远程方法调用,利用http+xml封装进行RPC调用。基于http协议传输、XML作为信息编码格式。一个xml-rpc消息就是一个请求体为xml的http-post请求，服务端执行后也以xml格式编码返回。这个标准面前已经演变为下面的SOAP协议。可以理解SOAP是XML-RPC的高级版本。

 

注释下，原文地址，blog.xiaorui.cc

 

JSON-RPC:JSON Remote Procedure Call，即JSON远程方法调用 。类似于XML-RPC，不同之处是使用JSON作为信息交换格式

 

下面是一个例子，很简单。我们是用python的rpc库SimpleXMLRPCServer 做的测试，创建rpc server，然后注册一些函数，供应别的客户端去调用。

 

 

 

 

 

 

 

Python

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

from SimpleXMLRPCServer import SimpleXMLRPCServer 原文：xiaorui.cc def add(x,y):     return x+y   def subtract(x, y):     return x-y   def multiply(x, y):     return x*y   def divide(x, y):     return x/y     server = SimpleXMLRPCServer(("localhost", 8000)) print "Listening on port 8000..." server.register_multicall_functions() server.register_function(add, 'add') server.register_function(subtract, 'subtract') server.register_function(multiply, 'multiply') server.register_function(divide, 'divide') server.serve_forever()

 

这个是连接的Client，python下的xmlrpclib 本身就提供了server和client类，当然咱们也可以自己写，看源码就知道他只是把func，args做了xml格式化而已。 

 

 

 

 

 

 

 

Python

 

1 2 3 4 5 6 7 8 9 10 11 12

import xmlrpclib   proxy = xmlrpclib.ServerProxy("http://localhost:8000/") multicall = xmlrpclib.MultiCall(proxy) multicall.add(7,3) multicall.subtract(7,3) multicall.multiply(7,3) multicall.divide(7,3) result = multicall()   print "7+3=%d, 7-3=%d, 7*3=%d, 7/3=%d" % tuple(result)

 

 

 

RPC本来是单任务的，如果任务相对频繁，可以设置成多线程的默认，你不用在调用threading模块什么的，直接引用 。

 

 

 

 

 

 

 

Python

 

1 2	class AsyncXMLRPCServer(SocketServer.ThreadingMixIn,SimpleXMLRPCServer): pass

 

 

 

然后rpc初始化的方法换成。

 

 

 

 

 

 

 

Python

 

1 2	server = AsyncXMLRPCServer(('', 1111), SimpleXMLRPCRequestHandler)

 

 

这里再说下，和xmlrpc相似的jsonrpc，貌似现在用xmlrpc的，要比jsonrpc的多点。  有时候到国外的it论坛看帖子，xmlrpc用的交多点。其实现在较大的公司，一般干脆直接自己实现了rpc框架，像淘宝Dubbo（朋友有搞过，搞了半天，没有对接成接口，说是有难度，不明觉厉！），百度的xxx（忘名字了）。

 

 

 

 

 

 

 

 

Python

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import jsonrpc server = jsonrpc.Server(jsonrpc.JsonRpc20(), jsonrpc.TransportTcpIp(addr=("127.0.0.1", 31415), logfunc=jsonrpc.log_file("myrpc.log"))) #原文：xiaorui.cc # 注册一个函数方法 def echo(s):     return s   def search(number=None, last_name=None, first_name=None):     sql_where = []     sql_vars  = []     if number is not None:         sql_where.append("number=%s")         sql_vars.append(number)     if last_name is not None:         sql_where.append("last_name=%s")         sql_vars.append(last_name)     if first_name is not None:         sql_where.append("first_name=%s")         sql_vars.append(first_name)     sql_query = "SELECT id, last_name, first_name, number FROM mytable"     if sql_where:         sql_query += " WHERE" + " AND ".join(sql_where)     cursor = ...     cursor.execute(sql_query, *sql_vars)     return cursor.fetchall()   server.register_function( echo ) server.register_function( search )   # start server server.serve()

 

 

 

 

 

 

 

 

 

 

 

Python

 

1 2 3 4 5 6 7 8 9

# 创建jsonrpc客户端 import jsonrpc server = jsonrpc.ServerProxy(jsonrpc.JsonRpc20(), jsonrpc.TransportTcpIp(addr=("127.0.0.1", 31415)))   #调用远端的一个函数 result = server.echo("hello world")   found = server.search(last_name='Python')

 

 

 

我做过一些个压力的测试，XMLRPCSERVER的开了async之后，每个连接特意堵塞5秒，他的并发在40个左右 。也就是每秒成功40个左右，剩下的还是在堵塞等待中。 其实他的瓶颈不是在于rpc的本身，是承载rpc的那个basehttpserver，太弱爆了。

 

 

 

 

 

 

 

 

Python

 

1 2	注释下，原文地址，<a href="http://blog.xiaorui.cc/" target="_blank">blog.xiaorui.cc</a><span style="line-height:1.5;font-family:微软雅黑, 'Microsoft YaHei';font-size:20px;"></span>

 

 

 

接收请求，调用方法 ！

 

 现在开源社区这么发达，有不少人都根据rpc的协议，重写了承载rpc的web服务。  比如用flask，tornado,配合uwsgi，你猜咋招了。。。。如果不堵塞连接，那还可以，如果堵塞连接，uwsgi的废材特色就显出来了，以前有文章说过，uwsgi是prework，他会预先启动进程，官方都推荐要根据你的cpu核数或者超线程来开启进程，如果开的太多，你会发现，uwsgi他是驾驭不了那么多进程的。还是看我大tornado，用了@gen.engine之后。轻易飙到500的并发连接。 

（以上是我的吃饱又蛋疼测试，没听过谁会重复调用那么多的堵塞方法，自评 sx行为） 

不多说了，看flask实现xmlrpc服务端的代码，看了下flask xmlrpc的源码，实现的不难。

 

 

 

 

 

Python

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

from flask import Flask from flaskext.xmlrpc import XMLRPCHandler, Fault   app = Flask(__name__)   handler = XMLRPCHandler('api') handler.connect(app, '/api')   @handler.register def woca(name="world"):     if not name:         raise Fault("fuck...fuck", "fuck shencan!")     return "Hello, %s!" % name 原文：xiaorui.cc app.run()

 

 

 

对于每个连接的超时，有多种的方法，如果你用的是flask，tornado做web server，那就写个装饰器single起来，只是性能不好。 或者是前面挂一个nginx，然后做个client_header_timeout,client_body_timeout,proxy_connect_timeout(你懂的。)，如果用的python自带的xml-rpc的话，需要引入socket。

 

 

 

 

 

 

 

Python

 

1 2 3

import socket socket.setdefaulttimeout()

 

 

再说下rpc安全的问题。

至于安全方面，有兴趣就开个ssl，或者是在程序里面判断下client ip，反正配置都是统一下发的，你重载daemon的时候，也就知道该判断什么ip了。

我个人对于rpc的应用，更加的倾向于基本资源的获取和调用，毕竟单纯的用socket或者是mq，你在程序里面还要做一个解析过来的数据，然后根据过来的数据在做调用。 （alert: 我想触发 add() ,如果是rpc的话，我不用管，只是传过去就行了，到那时mq和socket就需要eval调用函数了），一些复杂的应用还是喜欢用面向资源的rest，也推荐大家用这个，靠谱的。