Celery的使用方法

安装celery

pip3 install celery

 

1.celery示例一：普通方法
1.1 s1文件中：定义任务

import time
from celery import Celery
    '''
    1、发布任务
    2、指定redis作为消息队列来用
    3、将任务放到消息队列里面的broker里面
    4、将任务的结果放到消息队列的backend里面
    5、启动worker来执行当前任务
    '''
app = Celery('tasks',broker='redis://:123123@123.206.100.71:6379',backend='redis://:123123@123.206.100.71:6379')

@app.task    　　    # task是celery的内置方法
def timing_task(x,y):
    time.sleep(20)
    return x+y

1.2 在执行任务前先启动worker

由于celery并不支持windows系统环境，则需要先安装一个模块：
pip3 install eventlet

启动worker
celery -A 定义任务的文件名 worker -l INFO -P eventlet

1.3 s2文件中： 执行任务

import s1

# 执行任务，使用delay，括号里面接被执行任务所需要的参数
result = s1.timing_task.delay(4,7) 

# 接收到一个id值
print(result) 
# 3aeeeec0-710b-403a-b241-717c40d53cdc

1.4 s3文件中：查看任务执行结果 

from celery.result import AsyncResult
from s1 import app

# 检测结果
async_result = AsyncResult(id='3a6eac8b-5554-4123-b846-566baa076049',app=app) # id=s2文件中执行的结果

if async_result.successful():
    val = async_result.get()
    print(val)
else:
    print('no')

 

2.celery示例二：定时任务
2.1 s1文件中：定义任务

import time
from celery import Celery
    '''
    1、发布任务
    2、指定redis作为消息队列来用
    3、将任务放到消息队列里面的broker里面
    4、将任务的结果放到消息队列的backend里面
    5、启动worker来执行当前任务
    '''
app = Celery('tasks',broker='redis://:123123@123.206.100.71:6379',backend='redis://:123123@123.206.100.71:6379')

@app.task
def timing_task(x,y):
    time.sleep(20)
    return x+y

在执行任务前先启动worker：

celery -A 定义任务的文件名 worker -l INFO -P eventlet	

2.2 s2文件中：定义定时任务

# 获取当前时间
ctime = datetime.datetime.now() # 通过datetime直接来获取当前时间

或者通过time来获取时间，在转换成datetime时间（直接用datetime和time在转换成datetime二者任选其一）

# 通过time模块指定时间，并转换为字符串时间
# btime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(1545126700.8690667))

# 把字符串时间转换成datetime时间
# date_time = datetime.datetime.strptime(btime,'%Y-%m-%d %H:%M:%S')

# 转换成utc时间
utc_ctime = datetime.datetime.utcfromtimestamp(ctime.timestamp())

# 定时50秒后执行任务
timing = utc_ctime+datetime.timedelta(seconds=50)

# 使用apply_async执行任务
result = s1.timing_task.apply_async(args=[4,1],eta=utc_ctime)
print(result)

 

3.周期性执行任务：
https://www.cnblogs.com/wupeiqi/articles/8796552.html


4.将celery应用到django中

4.1 创建django项目，命名为 django_celery_test

4.2 在项目同名目录下创建celery文件，且必须是这个名字，文件内容如下：

import os
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'django_celery_test.settings')

app = Celery('django_celery_test')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks() # 会循环读取项目中的tasks文件

4.3 在settings中配置：

CELERY_BROKER_URL = 'redis://:123123@123.206.100.71:6379' # 指定redis作为消息队列

CELERY_ACCEPT_CONTENT = ['json'] # 如果序列化的是json不支持的数据类型这里就要改成pickle

CELERY_RESULT_BACKEND = 'redis://:123123@123.206.100.71:6379'

CELERY_TASK_SERIALIZER = 'json' # 如果序列化的是json不支持的数据类型这里就要改成pickle

4.4 在项目同名目录下的__init__文件中定义:

from .celery import app as celery_app

__all__ = ('celery_app',)

4.5 在app目录下创建tasks文件，文件中定义要执行的任务，启动woker直接-A后面直接写app目录名就行，例如：

import time
from celery import shared_task

@shared_task
def add(x,y):
    time.sleep(20)
    return x+y

4.6 编写url：

from app01 import views

urlpatterns = [
    url(r'^tasks/', views.c_tasks),
    url(r'^check/', views.check),
]

4.7 编写视图函数，执行任务并对任务的结果进行获取

from django.shortcuts import render, HttpResponse
from celery.result import AsyncResult
from django_celery_test import celery_app
from app01 import tasks


# Create your views here.

def c_tasks(request):
    """
    执行任务
    任务文件名.任务名.delay(任务参数)
    :param request: 
    :return: 
    """
    result = tasks.add.delay(4, 6)
    return HttpResponse('任务ID：%s'%result)

def check(request):
    tasks_id = request.GET.get('task_id')
    async_result = AsyncResult(id=tasks_id,app=celery_app)
    if async_result .successful():
        val = async_result.get()
        return HttpResponse('结果为%s'%val)
    return HttpResponse('任务还在执行，请稍等...')

4.8 启动worker，如果是在windows系统下则先安装evnetlert模块，在linux或mac则不需要

在终端中：celery -A app目录名 worker -i INFO -P eventlet