Tornado 高并发源码分析之六---异步编程的几种实现方式

 

方式一：通过线程池或者进程池

导入库futures是python3自带的库，如果是python2，需要pip安装future这个库

备注：进程池和线程池写法相同

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
from tornado.concurrent import run_on_executor

def doing(s):
    print('xiumian--{}'.format(s))
    time.sleep(s)
    return s

class MyMainHandler(RequestHandler):
    executor = ProcessPoolExecutor(2)   #新建一个进程池，静态变量，属于类，所以全程只有这个几个进程，不需要关闭，如果放在__init__中，则属于对象，每次请求都会新建pool，当请求增多的时候，会导致今天变得非常多，这个方法不可取

    @gen.coroutine
    def get(self, *args, **kwargs):
        print('开始{}'.format(self.pool_temp))
        a = yield self.executor.submit(doing, 20)   
        print('进程 %s'  % self.executor._processes)
        self.write(str(a))
        print('执行完毕{}'.format(a))

   @run_on_executor       #tornado 另外一种写法，需要在静态变量中有executor的进程池变量
    def post(self, *args, **kwargs):
a = yield doing(20)

 

 

方式二：Tornado + Celery + RabbitMQ 实现

使用Celery任务队列，Celery 只是一个任务队列，需要一个broker媒介，将耗时的任务传递给Celery任务队列执行，执行完毕将结果通过broker媒介返回。官方推荐使用RabbitMQ作为消息传递，redis也可以

 

一、Celery 介绍：

1.1、注意：

1、当使用RabbitMQ时，需要按照pika第三方库，pika0.10.0存在bug，无法获得回调信息，需要按照0.9.14版本即可

2、tornado-celery 库比较旧，无法适应Celery的最新版，会导致报无法导入task Producter包错误，只需要将celery版本按照在3.0.25就可以了

 

1.2、关于配置：

单个参数配置：

 app.conf.CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' 

多个参数配置：

app.conf.update(
    CELERY_BROKER_URL = 'amqp://guest@localhost//',
    CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
)

从配置文件中获取：（将配置参数写在文件app.py中）

BROKER_URL='amqp://guest@localhost//'
CELERY_RESULT_BACKEND='redis://localhost:6379/0'
app.config_from_object('celeryconfig')

 

 

二、案例

2.1、启动一个Celery 任务队列，也就是消费者：

from celery import Celery
celery = Celery('tasks', broker='amqp://guest:guest@119.29.151.45:5672', backend='amqp')  使用RabbitMQ作为载体, 回调也是使用rabbit作为载体

@celery.task(name='doing')   #异步任务，需要命一个独一无二的名字
def doing(s, b):
    print('开始任务')
    logging.warning('开始任务--{}'.format(s))
    time.sleep(s)
    return s+b

命令行启动任务队列守护进程，当队列中有任务时，自动执行 （命令行可以放在supervisor中管理）

--loglevel=info --concurrency=5

记录等级，默认是concurrency：指定工作进程数量，默认是CPU核心数

 

2.2、启动任务生产者

import tcelery
tcelery.setup_nonblocking_producer()  #设置为非阻塞生产者，否则无法获取回调信息

class MyMainHandler(RequestHandler):

    @web.asynchronous
    @gen.coroutine
    def get(self, *args, **kwargs):
        print('begin')
        result = yield gen.Task(sleep.apply_async, args=[10])   #使用yield 获取异步返回值，会一直等待但是不阻塞其他请求
        print('ok--{}'.format(result.result))     #返回值结果
       
       # sleep.apply_async((10, ), callback=self.on_success)   
       # print('ok -- {}'.format(result.get(timeout=100)))#使用回调的方式获取返回值,发送任务之后，请求结束，所以不能放在处理tornado的请求任务当中，因为请求已经结束了，与客户端已经断开连接，无法再在获取返回值的回调中继续向客户端返回数据
      
        # result = sleep.delay(10)    #delay方法只是对apply_async方法的封装而已
        # data = result.get(timeout=100)  #使用get方法获取返回值，会导致阻塞，相当于同步执行
        

    def on_success(self, response):    #回调函数
        print ('Ok-- {}'.format(response))