gevent 初步[转]

转自：http://www.isnowfy.com/introduction-to-gevent/     isnowfy 的博客。

gevent初步

话说gevent也没个logo啥的，于是就摆了这张图= =|||，首先这是一种叫做greenlet的鸟，而在python里，按照官方解释greenlet是轻量级的并行编程，而gevent呢，就是利用greenlet实现的基于协程的python的网络library，好了，关系理清了。。。

话说pycon没有白去阿，了解了很多以前不知道的东西，比如说协程，gevent，greenlet，eventlet。说说协程，进程和线程大家平时了解的都比较多，而协程算是一种轻量级进程，但又不能叫进程，因为操作系统并不知道它的存在。什么意思呢，就是说，协程像是一种在程序级别来模拟系统级别的进程，由于是单进程，并且少了上下文切换，于是相对来说系统消耗很少，而且网上的各种测试也表明，协程确实拥有惊人的速度。并且在实现过程中，协程可以用以前同步思路的写法，而运行起来确是异步的，也确实很有意思。话说有一种说法就是说进化历程是多进程->多线程->异步->协程，暂且不论说的对不对，单从诸多赞誉来看，协程还是有必要理解一下的。

比较惭愧，greenlet没怎么看就直接看gevent，官方文档还是可以看看的，尤其是源码里的examples都相当不错，有助于理解gevent的使用。

gevent封装了很多很方便的接口，其中一个就是monkey

1. from gevent import monkey
2. monkey.patch_all()

这样两行，就可以使用python以前的socket之类的，因为gevent已经给你自动转化了，真是超级方便阿。

而且安装gevent也是很方便，首先安装依赖libevent和greenlet，再利用pypi安装即可

1. sudo apt-get install libevent-dev
2. sudo apt-get install python-dev
3. sudo easy-install gevent

然后，gevent中的event，有wait，set等api，方便你可以让某些协程在某些地方等待条件，然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

最后放送一个我利用gevent实现的一个带有缓存的dns server

1.  # -*- coding: UTF-8 -*-
2.  
3. import gevent
4. import dnslib
5. from gevent import socket
6. from gevent import event
7.  
8. rev=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
9. rev.bind(('',53))
10. ip=[]
11. cur=0
12.  
13. def preload():
14.     for i in open('ip'):
15.         ip.append(i)
16.     print "load "+str(len(ip))+" ip"
17.  
18. def send_request(data):
19.     global cur
20.     ret=rev.sendto(data,(ip[cur],53))
21.     cur=(cur+1)%len(ip)
22.  
23. class Cache:
24.     def __init__(self):
25.         self.c={}
26.     def get(self,key):
27.         return self.c.get(key,None)
28.     def set(self,key,value):
29.         self.c[key]=value
30.     def remove(self,key):
31.         self.c.pop(key,None)
32.  
33. cache=Cache()
34.  
35. def handle_request(s,data,addr):
36.     req=dnslib.DNSRecord.parse(data)
37.     qname=str(req.q.qname)
38.     qid=req.header.id
39.     ret=cache.get(qname)
40.     if ret:
41.         ret=dnslib.DNSRecord.parse(ret)
42.         ret.header.id=qid;
43.         s.sendto(ret.pack(),addr)
44.     else:
45.         e=event.Event()
46.         cache.set(qname+"e",e)
47.         send_request(data)
48.         e.wait(60)
49.         tmp=cache.get(qname)
50.         if tmp:
51.             tmp=dnslib.DNSRecord.parse(tmp)
52.             tmp.header.id=qid;
53.             s.sendto(tmp.pack(),addr)
54.  
55. def handle_response(data):
56.     req=dnslib.DNSRecord.parse(data)
57.     qname=str(req.q.qname)
58.     print qname
59.     cache.set(qname,data)
60.     e=cache.get(qname+"e")
61.     cache.remove(qname+"e")
62.     if e:
63.         e.set()
64.         e.clear()
65.  
66. def handler(s,data,addr):
67.     req=dnslib.DNSRecord.parse(data)
68.     if req.header.qr:
69.         handle_response(data)
70.     else:handle_request(s,data,addr)
71.  
72. def main():
73.     preload()
74.     while True:
75.         data,addr=rev.recvfrom(8192)
76.         gevent.spawn(handler,rev,data,addr)
77.  
78. if __name__ == '__main__':
79.     main()

这个是直接利用了dict来作为缓存查询了，在这里还有我将dict换成redis持久化实现的另一个版本(话说redis的python api也可以利用pypi安装，pypi（PyPI - the Python Package Index : Python Package Index）这真是个好东西阿)，话说可以将这段代码放到国外的服务器上去运行，然后修改dns的地址去指向它，然后你懂的。。。