celery任务队列使用
celery任务队列使用
-
项目架构
. ├── broker │ ├── __init__.py │ ├── cron.py │ └── req.py ├── config │ ├── __init__.py │ ├── dev.py │ └── prod.py ├── task │ ├── __init__.py │ ├── base.py │ ├── cron │ │ ├── __init__.py │ │ └── check.py │ └── req │ ├── __init__.py │ └── waste_task.py ├── main.py └── requirements.txt -
依赖包
amqp 2.6.1 billiard 3.6.4.0 celery 4.4.0 certifi 2021.10.8 charset-normalizer 2.0.7 idna 3.3 importlib-metadata 4.8.2 kombu 4.6.11 pip 21.2.4 pytz 2021.3 redis 3.5.3 requests 2.26.0 setuptools 58.2.0 typing-extensions 3.10.0.2 urllib3 1.26.7 vine 1.3.0 wheel 0.37.0 zipp 3.6.0 -
配置
# -*- coding=utf-8 -*- # 文件所在位置 : config/dev.py from datetime import timedelta # 公共配置 COMMON_CONFIG = { "CELERYD_CONCURRENCY": 2, "CELERYD_MAX_TASKS_PER_CHILD": 10, "CELERYD_HIJACK_ROOT_LOGGER": True, "CELERY_ANNOTATIONS": { '*': {'rate_limit': '10/s'} } } # 任务队列配置 REQ_CONFIG = { "BROKER_URL": 'redis://:123456@127.0.0.1:6379/1', "RESULTS_BACKEND ": 'redis://:123456@127.0.0.1:6379/2', "CELERY_IMPORTS": [ 'task.req.waste_task', ] } # 定时配置(定义简单版) CRON_CONFIG = { "BROKER_URL": 'redis://:123456@127.0.0.1:6379/3', "CELERY_DEFAULT_QUEUE": "default", "CELERY_IMPORTS": [ 'task.cron.check' ], 'CELERYBEAT_SCHEDULE': { 'check_product': { 'task': 'task.cron.check.test_1', 'schedule': timedelta(seconds=6), # 每6s执行一次 'args': () # 执行参数 }, 'test_2': { 'task': 'task.cron.check.test_2', 'schedule': timedelta(seconds=10), # 每10s执行一次 'args': () # 执行参数 }, 'test_3': { 'task': 'task.cron.check.test_3', 'schedule': timedelta(seconds=20), # 每20s执行一次 'args': () # 执行参数 } } } # 定义请求任务队列配置和定时任务队列 REQ_CONFIG.update(COMMON_CONFIG) CRON_CONFIG.update(COMMON_CONFIG) -
自定义任务基类
# -*- coding=utf-8 -*- # 文件所在位置 : task/base.py from celery import Task # 任务基类 class BaseTask(Task): # 成功时回调,只能证明此任务执行成功，不代表程序逻辑一定成功 def on_success(self, retval, task_id, args, kwargs): print("任务成功") return super(BaseTask, self).on_success(retval, task_id, args, kwargs) # 失败回调, 当重试结束后或者直接失败，则会触发此方法 def on_failure(self, exc, task_id, args, kwargs, einfo): print("任务失败") return super(BaseTask, self).on_failure(exc, task_id, args, kwargs, einfo) # 任务重试, 到最后一次重试后会走到失败回调，前端需要使用 self.retry() 方法触发 def on_retry(self, exc, task_id, args, kwargs, einfo): print("重试") print(args) print(kwargs) super(BaseTask, self).on_retry(exc, task_id, args, kwargs, einfo) # 任务执行成功并返回内容，可以根据内容来判定是否是一次有效的执行任务 def after_return(self, status, retval, task_id, args, kwargs, einfo): print(retval) super(BaseTask, self).after_return(status, retval, task_id, args, kwargs, einfo) -
代理人
-
请求任务
# -*- coding=utf-8 -*- # 文件所在位置 : broker/req.py from celery import Celery from config import REQ_CONFIG # 实例化任务队列 req = Celery( "req" # 自定义队列名称 ) # 导入配置 req.config_from_object(REQ_CONFIG) -
定时任务
# -*- coding=utf-8 -*- # 文件所在位置 : broker/cron.py from celery import Celery from config import CRON_CONFIG cron = Celery( "cron" # 自定义实例名称 ) # 导入配置 cron.config_from_object(CRON_CONFIG)
-
-
任务
-
请求任务
# -*- coding=utf-8 -*- # 文件所在位置 : task/req.py from broker.req import req import requests from task.base import BaseTask @req.task(bind=True) def waste_task_1(self, x, y): return x * y @req.task(bind=True,base=BaseTask) def waste_task_2(self, id, url): try: resp = requests.get(url, timeout=2) except: self.retry(max_retries=3, countdown=5) return resp -
定时任务
# -*- coding=utf-8 -*- # 文件所在位置 : task/cron.py from broker.cron import cron from task.base import BaseTask import time @cron.task(bind=True) def test_1(self): print("定时 test_1 : %s"%(time.time())) @cron.task(bind=True, base=BaseTask) def test_2(self): try: 1 / 0 except: self.retry(countdown=10, max_retries=5) @cron.task(bind=True, base=BaseTask) def test_3(self): try: print("定时 test_3 : %s"%(time.time())) except: self.retry(countdown=10, max_retries=5)
-
-
启动任务
-
启动请求任务
celery -A broker.req worker --loglevel=info --logfile="xxx/req_task.log" & -
启动定时任务
celery -A broker.cron beat celery -A broker.cron worker --loglevel=info --logfile="xxx/cron_task.log" &
-
-
使用
-
定时任务，已经自行启动并运行，所以不需要关注。
-
请求任务，伪代码如下：
# -*- coding=utf-8 -*- # 文件所在位置 : main.py from task.waste_task import waste_task_1, waste_task_2 def test1(): x, y = 10, 20 waste_task_1.delay(x, y) def test2(): id, url = 100, "https://baidu.com" waste_task_2.delay(id, url)
-
