Celery 之异步任务、定时任务、周期任务

什么是Celery?
Celery 是芹菜
Celery 是基于Python实现的模块, 用于执行异步定时周期任务的
其结构的组成是由
    1.用户任务 app
    2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ  / backend 用于存储任务执行结果的
    3.员工 worker

 

一 异步任务

from celery import Celery
import time

my_task = Celery('tasks', broker='redis://127.0.0.1:6379', backend='redis://127.0.0.1:6379')


@my_task.task
def func(x, y):
    time.sleep(20)
    return x + y

from s1 import func

ret = func.delay(2, 4)

sid = ret.id
print(ret.id)

from celery.result import AsyncResult
from asyn.s1 import my_task

async_task = AsyncResult(id="8789dd69-437a-47c2-a3a5-1cd5c3ba9c73", app=my_task)

if async_task.successful():
    result = async_task.get()
    print(result)

else:
    print('任务还未完成')

ps: eventlet 是一个python的三方库 需要使用 pip安装 pip install eventlet

 celery worker -A s1 -l INFO -P eventlet  # 创建worker 执行代码

二、周期任务

创建两个任务

task_one:

from s6 import celery_task


@celery_task.task
def my_func1_task_one(a,b):
    return f"my_func1_task_one return{a}{b}"

task_two

from s6 import celery_task


@celery_task.task
def my_func1_task_two(a, b):
    return f"my_func1_task_one return{a}{b}"

设置执行周期时间

# 周期任务

from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["task_one","task_two"])

#我要要对beat任务生产做一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10)
celery_task.conf.beat_schedule ={
    "each10s_task": {
        "task":"task_one.my_func1_task_one",
        "schedule": 10,  # 每10秒钟执行一次
        "args": (10, 20)
    },
    "each5s_task": {
        "task": "task_two.my_func1_task_two",
        "schedule": 5,  # 每5秒
        "args": (50, 60)
    },
    # "each24hours_task": {
    #     "task": "Celery_task.task_one.one",
    #     "schedule": crontab(hour=24), # 每24小时执行一次
    #     "args": (10, 10)
    # }

}

#以上配置完成之后,还有一点非常重要
# 不能直接创建Worker了,因为我们要执行周期任务,所以首先要先有一个任务的生产方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

执行指令：

1、创建Worker的方式并没有发行变化,但是这里要注意的是,每间隔一定时间后需要生产出来任务给Worker去执行,这里需要一个生产者beat

celery beat -A Celery_task  #创建生产者 beat 你的 schedule 写在哪里,就要从哪里启动

2、celery worker -A Celery_task -l INFO -P eventlet

友情链接