Celery的简单使用

Celery使用

Celery是啥？

官方：

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统
专注于实时处理的异步任务队列
同时也支持任务调度

注意：
"""
Celery is a project with minimal funding, so we don’t support Microsoft Windows. 
Please don’t open any issues related to that platform.
"""
大致翻译：
"""
官方声明：celery不适用于windows，在windows上操作可能会出错
"""

总结：

Celery是一个异步任务框架，能够执行异步、延时、定时任务

Celery异步任务框架

1）可以不依赖任何服务器，通过自身命令，启动服务(内部支持socket)
2）celery服务为为其他项目服务提供异步解决任务需求的
注：会有两个服务同时运行，一个是项目服务，一个是celery服务，项目服务将需要异步处理的任务交给celery服务，celery就会在需要时异步完成项目的需求
# 它是一个独立的项目，跟django是两个东西，在django项目重使用celery则需要加载django配置环境
import os
def main():
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
    import django
    django.setup()

两种celery任务结构：提倡用包管理，结构清晰

# 如果 Celery对象:Celery(...) 是放在一个模块下的
# 1）终端切换到该模块所在文件夹位置：scripts
# 2）执行启动worker的命令：celery worker -A 模块名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：模块名随意

# 如果 Celery对象:Celery(...) 是放在一个包下的
# 1）必须在这个包下建一个celery.py的文件，将Celery(...)产生对象的语句放在该文件中
# 2）执行启动worker的命令：celery worker -A 包名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：包名随意

windows上启动celery正常，执行任务时报错

Traceback (most recent call last):
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\billiard\pool.py", line 358, in workloop
    result = (True, prepare_result(fun(*args, **kwargs)))
  File "c:\users\circle\appdata\local\programs\python\python37-32\lib\site-packages\celery\app\trace.py", line 546, in _fast_trace_task
    tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

解决办法

安装 pip install eventlet
重新输入如下名命令
# celery_task是包名,包下必须要有一个叫celery的文件
celery worker -A celery_task -l info -P eventlet

Celery执行异步任务

# 创建py文件：celery_app_task.py
import celery
import time
# broker='redis://:密码@127.0.0.1:6379/存储位置'
# backend='redis://:密码@127.0.0.1:6379/存储位置'
backend = 'redis://127.0.0.1:6379/1' # 结构存储，执行完的结果存在这里
broker = 'redis://127.0.0.1:6379/2'  # broker任务队列
app = Celery(__name__, backend=backend, broker=broker)
@app.task
def add(x,y):
    return x+y

# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

包架构封装（多任务结构）

project
    ├── celery_task  	# celery包
    │   ├── __init__.py # 包文件
    │   ├── celery.py   # celery连接和配置相关文件，且名字必须叫celery.py
    │   └── tasks.py    # 所有任务函数
    ├── add_task.py  	# 添加任务
    └── get_result.py   # 获取结果

基本使用

celery.py

# 1）创建app + 任务
# 2）启动celery(app)服务：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet
# 3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本
# 4）获取结果：手动获取，要自定义获取任务的脚本，右键执行脚本

from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks1', 'celery_task.tasks2'])

tasks.py

from .celery import app
import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

add_task.py

from celery_task import tasks
# 添加立即执行任务
t1 = tasks.add.delay(10, 20)
t2 = tasks.low.delay(100, 50)
print(t1.id)

# 添加延迟任务
from datetime import datetime, timedelta
eta=datetime.utcnow() + timedelta(seconds=10)
tasks.low.apply_async(args=(200, 50), eta=eta)

get_result.py

# 获取celery存入的值
from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

高级使用（定时任务）

celery.py

from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks'])
# 设置时区
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
    'low-task': {
        'task': 'celery_task.tasks.low',  # 设置定时的任务
        'schedule': timedelta(seconds=3), # 定时时间
        # 'schedule': crontab(hour=8, day_of_week=1),  # 每周一早八点
        'args': (300, 150), # 传入的参数
    }
}

# 命令行启动定时任务 celery beat -A 包名 -l info

tasks.py

from .celery import app

import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

get_result.py

from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

Django中使用celery

在项目根路径下创建一个包，包内必须有一个名为celery的py文件
包内还需要一个py文件用来写任务函数
在celery.py文件内需要加载django配置环境
创建celery框架对象app，配置broker和backend得到的对象app就是worker
给worker对应的app添加可处理的任务函数，用include配置给worker的app
完成提供的任务的定时配置app.conf.beat_schedule
启动celery服务，运行worker，执行任务
启动beat服务，运行beat，添加任务

重点：由于采用了django的反射机制，使用celery.py所在的包必须放置项目的根目录下

celery.py

# 加载django配置环境
import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
# 实例化Celery，获取worker对象，include添加可处理的任务函数
from celery import Celery
broker = 'redis://127.0.0.1:6379/0'  # 数据存储位置
backend = 'redis://127.0.0.1:6379/1' # 返回值存储位置
app = Celery(__name__, broker=broker, backend=None, include=['celery_task.tasks'])

# 时区
app.conf.timezone = 'Asia/shanghai'
# 是否使用utc时间
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab

app.conf.beat_schedule = {
    'update-banner-list': {
        'task': 'celery_task.tasks.update_banner_list',
        'schedule': timedelta(seconds=5),
        'args': (),
    }
}

tasks.py

from .celery import app
from django.core.cache import cache
from django.conf import settings
from home import serializer, models


@app.task
def update_banner_list():
    queryset = models.Banner.objects.filter(is_delete=False, is_show=True).order_by('-display_order')[:settings.BANNER_COUNT]
    ser = serializer.BannerModelSerializer(instance=queryset, many=True)
    banner_list = ser.data
    for banner in banner_list:
        banner['banner_url'] = 'http://127.0.0.1:8000%s' % banner['banner_url']
    cache.set('banner_list', banner_list, 60*60*24)
    return True

posted @ 2020-07-25 11:16 群青-Xi 阅读(213) 评论(2) 编辑收藏举报

刷新页面返回顶部

群青-Xi

Hello Python

Celery的简单使用

Celery使用

Celery是啥？

Celery异步任务框架

两种celery任务结构：提倡用包管理，结构清晰

windows上启动celery正常，执行任务时报错

解决办法

Celery执行异步任务

包架构封装（多任务结构）

基本使用

celery.py

tasks.py

add_task.py

get_result.py

高级使用（定时任务）

celery.py

tasks.py

get_result.py

Django中使用celery

celery.py

tasks.py

公告