使用celery的backend异步获取结果

惯例先贴出相关参考的文档：

http://docs.celeryproject.org/en/stable/getting-started/next-steps.html

http://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends

 

这篇紧接上篇。

其实我们一般对这种异步任务需求是可能需要回调的。比如说我现在有一个支付的异步任务发送到了队列。

生产者不需要等待，在发送到队列之后就告诉用户已经支付成功了或者说正在支付稍后再来查看状态。

这个时候celery的worker获取到这个任务之后开始处理，等一会儿他处理完毕之后可能需要将这个处理完毕的结果返回给发送给他的生产者。

那么问题来了，如何告知生产者？因为生产者生产完消息之后就结束了。

 

那么这个时候就使用到了backend这个参数了：

当我们像指明broker一样指明了backend之后，当worker运行完结果之后就会把他返回给生产者的唯一id作为键，将结果作为值传递给你设置的worker(backend测试环境为redis).这个时候你无论在什么时候只要拿着这个值去redis里面查找到结果就行了。比如你在执行一个任务，你可以设置一个周期性轮询，去查看这个结果是否已经被生产出来，如果生产出来便取到该值做相应的操作即可。下面为具体操作实例：

 

先贴出一个我统一使用的配置文件

# file_name=init_celery.py
# coding: utf-8
from celery import Celery


BROKER_URL = 'redis://:password@localhost:6379/0'
BACKEND_URL = 'redis://:password@localhost:6379/1'

# Add tasks here
CELERY_IMPORTS = (
    'try',
)


celery = Celery('celery',
    broker=BROKER_URL,
    backend=BACKEND_URL,
    include=CELERY_IMPORTS,)

celery.conf.update(
    CELERY_ACKS_LATE=True,
    CELERY_ACCEPT_CONTENT=['pickle', 'json'],
    CELERYD_FORCE_EXECV=True,
    CELERYD_MAX_TASKS_PER_CHILD=500,
    BROKER_HEARTBEAT=0,
)

 

然后是celery任何函数

from init_celery import celery

@celery.task
def add(x, y):
    result = x + y
    print result
    return result

 

最后我们调用这个函数执行异步操作

from tasks import add

def notify(a, b):
    result = add.apply_async((a, b), queue='laplace')
    return result

if __name__ == '__main__':
    haha = notify(6, 7)
    print haha.status
    print haha.id
    print haha.get(timeout=1)

这里注意我使用了task.apply_async这个函数。其实效果根task.delay差不多只是可以指定更多的参数。 这里我指定了使用的队列为laplace队列，所以对应的监听的队列也必须使用参数-Q监听对应的队列，才能获得结果。

这里返回的result其实就是一个唯一的<class 'celery.result.AsyncResult'>对象。

我们可以对这个对象查看他的状态，id 以及使用get去得到他的具体值。

 

合理的使用这个get方法就可以取得woker处理之后的值，同时在redis可以清楚的看到，worker处理之后自动帮你在redis里面存储了

 

这么介绍之后对于backend是不是已经一目了然了呢？其实我在进行之类操作的时候还踩了一些配置文件方面的坑，

所以一定要仔细的参考官方文档进行操作。和查看更多你需要用到的功能和参数。