celery基础
目录
celery介绍和安装
Celery 是什么
-翻译过来是 芹菜 的意思,跟芹菜没有关系
-框架:服务,python的框架,跟django无关
-能用来做什么
-1.异步任务
-2.定时任务
-3 延迟任务
理解celery的运行原理
"""
1.可以不依赖任何服务器,通过自身命令,启动服务
2.celery服务为其他项目服务提供异步解决任务需求的
注:会有两个服务同时运行,一个是项目服务,一个是celery服务,项目服务将需要异步处理的任务交给celery服务,celery就会在需要时异步完成项目的需求
人是一个独立运行的服务 | 医院也是一个独立运行的服务
正常情况下，人可以完成所有健康情况的动作，不需要医院的参与；但当人生病时，就会被医院接收，解决人生病问题
人生病的处理方案交给医院来解决，所有人不生病时，医院独立运行，人生病时，医院就来解决人生病的需求
"""
celery架构(Broker,backend都用redis)
-1.任务中间件 Broker(中间件),其他服务提交的异步任务,放在里面排队
-需要借助于第三方 redis rabbitmq
-2 任务执行单元 worker 真正执行异步任务的进程
-celery提供的
-3 结果存储 backend 结果存储,函数的返回结果,存到backend中
-需要借助于第三方:redis,mysql
使用场景:
异步执行,解决耗时任务
延迟执行,解决延迟任务
定时执行:解决周期(周期)任务
celery不支持win,通过evebtlet支持在win上运行
celery快速使用
安装---》安装完成,会有一个可执行文件 celery
pip install celery
win:pip install eventlet
快速使用:
1.新建main.py
from celery import Celery
提交的异步任务,放在里面
broker = 'redis://127.0.0.1:6379/1' # 表示提交的异步任务用redis存储，放在redis的编号为1的库中
backend = 'redis://127.0.0.1:6379/2' # 表示执行完的结果,放在这里
app = Celery('test',broker=broker,backend=backend)
@app.task
def add(a, b):
import time
time.sleep(3)
print('------',a + b)
return a + b
2.其他程序,提交任务
from main import add
res = add.delay(5,6) # 原来add的参数,直接放在delay中传入即可
print(res) # 这里是提交任务的id
3.启动worker
启动worker命令,win需要安装eventlet
win:
-4.x之前版本
celery worker -A main -l info -P eventlet
-4.x之后
celery -A main worker -l info -P eventlet
mac：
celery -A main worker -l info
4.worker会执行消息中间件中的任务,把结果存起来
5.要看执行结果,拿到执行的结果
from main import app
from celery.result import AsyncResult
id = '51611be7-4914-4bd2-992d-749008e9c1a6'
if __name__ == '__main__':
a = AsyncResult(id=id, app=app)
if a.successful(): # 执行完了
result = a.get() #
print(result)
elif a.failed():
print('任务失败')
elif a.status == 'PENDING':
print('任务等待中被执行')
elif a.status == 'RETRY':
print('任务异常后正在重试')
elif a.status == 'STARTED':
print('任务已经开始被执行')
celery包结构
project
├── celery_task # celery包
│ ├── __init__.py # 包文件
│ ├── celery.py # celery连接和配置相关文件，且名字必须交celery.py
│ └── tasks.py # 所有任务函数
├── add_task.py # 添加任务
└── get_result.py # 获取结果
1.新建包:celery_task
在包下面新建[必须教celery]的py文件,celery.py写代码
from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery('test', broker=broker, backend=backend, include=['celery_task.order_task', 'celery_task.user_task'])
"""
参数:test是给app起个名字
broker 中间件存放的位置
backend 函数的返回结果存储的位置
include 是管理的文件,要在这里面注册
"""
2.在包内部,写task,任务异步任务
# order_task
from .celery import app
import time
@app.task
def add(a, b):
print('-----', a + b)
time.sleep(2)
return a + b'
# user_task
from .celery import app
import time
@app.task
def send_sms(phone, code):
print("给%s发送短信成功，验证码为：%s" % (phone, code))
time.sleep(2)
return True
3.启动worker,包躲在目录下
celery -A celery_task worker -l info -P eventlet
4.其他程序,提交任务,被提交到中间件中,等待worker执行,因为worker启动了,就会被worker执行
from celery_task import send_sms
res=send_sms.delay('1999999', 8888)
print(res) # 拿到任务执行id
5.worker执行完,结果存到backend中
6.我们查看结构
from celery_task import app
from celery.result import AsyncResult
id = '7d39033c-4cc7-4af2-8d78-e62c277db183'
if __name__ == '__main__':
a = AsyncResult(id=id, app=app)
if a.successful(): # 执行完了
result = a.get() #
print(result)
elif a.failed():
print('任务失败')
elif a.status == 'PENDING':
print('任务等待中被执行')
elif a.status == 'RETRY':
print('任务异常后正在重试')
elif a.status == 'STARTED':
print('任务已经开始被执行')
celery执行异步任务,延迟任务,定时任务
1.异步任务
执行:任务名.delay(参数)
2.延迟任务
任务.apply_async(args=[参数],eta=时间对象) # 如果没有修改时区,需要使用utc时间
3.定时任务
-需要启动beta和启动worker
-beat 定时期缴任务的进程--->配置在app.conf.beat_schedule的任务
-worker 执行任务的
使用步骤:
1.在celery的py文件中写入
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False
#celery的配置文件
#任务的定时配置
app.conf.beat_schedule = {
'send_sms': {
'task': 'celery_task.user_task.send_sms',
# 'schedule': timedelta(seconds=3), # 时间对象
# 'schedule': crontab(hour=8, day_of_week=1), # 每周一早八点
'schedule': crontab(hour=9, minute=43), # 每天9点43
'args': ('18888888', '6666'),
},
}
## 第二步：启动beat
celery -A celery_task beat -l info
## 第三步：启动worker
celery -A celery_task worker -l info -P eventlet
注意点;
1.启动命令的执行位置，如果是包结果,一定在包这一层
2. include=['celery_task.order_task'],路径从包名下开始导入，因为我们在包这层执行的命令
代码:celery.py
# 1）创建app + 任务
# 2）启动celery(app)服务：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet
# 3）添加任务：自动添加任务，所以要启动一个添加任务的服务
# 命令：celery beat -A celery_task -l info
# 4）获取结果
from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks'])
# 时区
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False
# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
'send_sms': {
'task': 'celery_task.user_task.send_sms',
# 'schedule': timedelta(seconds=3), # 时间对象
# 'schedule': crontab(hour=8, day_of_week=1), # 每周一早八点
'schedule': crontab(hour=9, minute=43), # 每天9点43
'args': ('18888888', '6666'),
},
}
参数解释:
send_sms:表示是给这个定时任务起个名字,名字随意
'task':'celery_task.user_task.send_sms' 表示是执行定时任务的函数,从celery_task.py到user_task.py最终到send_sms这个执行定时任务的韩式
'schedule': crontab(hour=9, minute=43), # 表示定时任务执行的时间
'args': ('18888888', '6666') # 函数执行要传的参数
tasks.py
from .celery import app
import time
@app.task
def add(n, m):
print(n)
print(m)
time.sleep(10)
print('n+m的结果：%s' % (n + m))
return n + m
@app.task
def low(n, m):
print(n)
print(m)
print('n-m的结果：%s' % (n - m))
return n - m
get_result.py
from celery_task.celery import app
from celery.result import AsyncResult
id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
async = AsyncResult(id=id, app=app)
if async.successful():
result = async.get()
print(result)
elif async.failed():
print('任务失败')
elif async.status == 'PENDING':
print('任务等待中被执行')
elif async.status == 'RETRY':
print('任务异常后正在重试')
elif async.status == 'STARTED':
print('任务已经开始被执行')
django中使用celery
补充:如果在公司中,只是做定时任务,还有一个更简单的框架
APSchedule：https://blog.csdn.net/qq_41341757/article/details/118759836
使用步骤:
-先把写的包,复制到项目目录下
-luffy_api
-celery_task # celery的包路径
-luffy_api # 源代码的路径
-在使用提交异步任务的位置,导入使用即可
-视图函数中使用,导入任务
-任务.delay() # 提交任务
-启动worker,如果有定时任务,启动beat
-等待任务被worker执行
-在视图函数中,查询任务执行的结果
秒杀功能
秒杀功能逻辑分析:
1.前端秒杀按钮,用户点击---》发送ajax请求到后端
2.视图函数---》提交秒杀任务---》借助于celery,提交到中间件中
3.当次秒杀的请求,就回去了,携带者任务id号在前端
4.前端开启定时任务,每隔3秒钟,带着任务,向后端发送请求,查看是否秒杀成功
5.后端的情况
1.任务还在等待被执行---》返回给前端,前端继续每隔3秒发送一次请求
2.任务执行完了,秒杀成功了---》返回给前端,恭喜您秒杀成功---》关闭前端定时器
3.任务执行完了,秒杀失败---》返回给前端,秒杀失败---》关闭前端定时器
视图
#### 秒杀逻辑，CBV
from rest_framework.viewsets import ViewSet
from celery_task.order_task import sckill_task
from celery_task.celery import app
from celery.result import AsyncResult
class SckillView(ViewSet):
@action(methods=['GET'], detail=False)
def sckill(self, request):
a = request.query_params.get('id')
# 使用异步，提交一个秒杀任务
res = sckill_task.delay(a)
return APIResponse(task_id=res.id)
@action(methods=['GET'], detail=False)
def get_result(self, request):
task_id = request.query_params.get('task_id')
a = AsyncResult(id=task_id, app=app)
if a.successful():
result = a.get()
if result:
return APIResponse(msg='秒杀成功')
else:
return APIResponse(code=101, msg='秒杀失败')
elif a.status == 'PENDING':
print('任务等待中被执行')
return APIResponse(code=666, msg='还在秒杀中')
任务 order_task.py
# 秒杀任务
import random
import time
@app.task
def sckill_task(good_id):
# 生成订单，减库存，都要在一个事务中
print("商品%s：秒杀开始" % good_id)
# 这个过程，可能是1,2,3s中的任意一个
time.sleep(random.choice([6, 7, 9]))
print('商品%s秒杀结束' % good_id)
return random.choice([True, False])
前端
<template>
<div>
<button @click="handleSckill">秒杀</button>
</div>
</template>
<script>
import Header from '@/components/Header';
import Banner from '@/components/Banner';
import Footer from '@/components/Footer';
export default {
name: 'Sckill',
data() {
return {
task_id: '',
t: null
}
},
methods: {
handleSckill() {
this.$axios.get(this.$settings.BASE_URL + '/user/sckill/sckill/?id=999').then(res => {
this.task_id = res.data.task_id
this.t = setInterval(() => {
this.$axios.get(this.$settings.BASE_URL + '/user/sckill/get_result/?task_id=' + this.task_id).then(res => {
if (res.data.code == 666) {
//如果秒杀任务还没执行，定时任务继续执行
console.log(res.data.msg)
} else {
// 秒杀结束，无论成功失败，这个定时任务都结束
clearInterval(this.t)
this.t = null
this.$message(res.data.msg)
}
})
}, 2000)
}).catch(res => {
})
}
}
}
</script>
django中使用celery
-把写的包放到项目目录下
-luffy_api
-celery_task #celery的包路径
celery.py # 一定不要忘了一句话
import os
# 这句话是manage.py的话,一定不要忘记加到里面,要不会报错的
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.settings.dev')
-luffy_api #源代码路径
-在使用提交异步任务的位置,导入使用即可
-视图函数中使用,导入任务
-任务.delay()
-启动worker,如果有定时任务,启动beat
-等待任务被worker执行
-在视图函数中,查询任务执行的记过
# 重点：celery中使用djagno，有时候，任务中会使用django的orm，缓存，表模型。。。。一定要加
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.settings.dev')
混播图接口加缓存
网站首页被访问的频率很高,瞬间1万个人在访问,首页的轮播图接口会执行1万次,1万次查询轮播图表的sql在执行,轮播图基本不变
解决问题:让1万个访问,效率更高一些,不查数据库,直接走缓存---redis---》效率高
轮播图逻辑改变:
1.轮播图接口请求来了,先去缓存中看,如果有,直接返回
2.如果没有,查数据库,然后把轮播图数据,放到redis中,缓存起来
# 改接口
# 加入缓存的轮播图接口
def list(self, request, *args, **kwargs):
# 查看缓存有没有数据，如果没有，再走数据库
banner_list = cache.get('banner_list')
if banner_list:
print('走了缓存')
return APIResponse(data=banner_list)
else: # 走数据库
print('走了数据库')
res = super().list(request, *args, **kwargs)
# 把序列化后的数据存到缓存中，redis中
cache.set('banner_list', res.data)
return APIResponse(data=res.data)
双写一致性
加入缓存后,缓存数据,先去缓存拿,但是如果mysql中数据变了,缓存不会自动变化,出现数据不一致的问题
mysql和缓存数据库 数据不一致
双写一致性
写入mysql,redis没动,数据不一致存在问题
如何解决
1.修改数据,删除缓存
2.修改数据,更新缓存
3.定时更新缓存---》实时性差
首页轮播图定时更新
第一步:在celery配置定时任务
任务文件需要在app里面注册一下
app = Celery('test', broker=broker, backend=backend, include=['celery_task.order_task', 'celery_task.user_task', 'celery_task.update_task'])
app.conf.beat_schedule = {
'update_banner': {
'task': 'celery_task.home_task.update_banner',
'schedule': timedelta(seconds=3), # 时间对象
},
}
# 第二部,启动worker,启动beat
中间一步:
需要在配置文件里面配置路由,因为不在view视图里面的路径不会在127这个路径,所以需要在配置里面配置,然后拼接路由:
BACKEND_URL = 'http://127.0.0.1:8000'
# update_banner任务的代码
from home.models import Banner
from home.serializer import BannerSerializer
from django.core.cache import cache
from django.conf import settings
@app.task
def update_banner():
# 只要这个任务一执行，就更新轮播图的缓存
banners = Banner.objects.all().filter(is_delete=False, is_show=True).order_by('orders')
ser = BannerSerializer(instance=banners, many=True)
for item in ser.data:
item['image'] = settings.BACKEND_URL + item['image']
cache.set('banner_list', ser.data) # 会出问题，轮播图地址显示不全
return True
