python之定时任务APScheduler

一、APScheduler

APScheduler全称Advanced Python Scheduler 作用为在指定的时间规则执行指定的作业。

指定时间规则的方式可以是间隔多久执行，可以是指定日期时间的执行，也可以类似Linux系统中Crontab中的方式执行任务。
指定的任务就是一个Python函数。

二、安装

pip install apscheduler

三、创建定时任务

创建一个任务 func
- 一个任务就是一个函数，或者异步函数
创建调度器 BlockingScheduler
- BlockingScheduler是最基本的调度器，阻塞型的调度器
把任务添加到调度器中 add_job
- 参数一：任务名
- 参数二：触发器，使用的是interval间隔触发器
- seconds：间隔时间，单位秒，没个几秒执行一次
- args：所添加的任务的传入参数
启动定时任务 start

from datetime import datetime

from apscheduler.schedulers.blocking import BlockingScheduler


def func(name):
    now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print(now + f" Hello world, {name}")


scheduler = BlockingScheduler()
scheduler.add_job(func, 'interval', seconds=3, args=["desire"])
scheduler.start()

　　执行结果：

2022-05-19 16:28:51 Hello world, desire
2022-05-19 16:28:54 Hello world, desire
2022-05-19 16:28:57 Hello world, desire
2022-05-19 16:29:00 Hello world, desire
2022-05-19 16:29:03 Hello world, desire

四、调度器（schedulers）

`BlockingScheduler`

阻塞型调度器，最基本的调度器，调用start函数会阻塞当前线程，不能立即返回
适用于调度程序时进程中唯一运行的进程
from apscheduler.schedulers.blocking import BlockingScheduler

`BackgroundScheduler`

后台运行调度器，调用start后主线程不会阻塞
适用于调度程序在应用程序的后台运行
from apscheduler.schedulers.background import BackgroundScheduler

`AsyncIOScheduler`

适用于使用了asyncio模块的应用程序
from apscheduler.schedulers.asyncio import AsyncIOScheduler

`GeventScheduler`

适用于使用gevent模块的应用程序
from apscheduler.schedulers.gevent import GeventScheduler

`TwistedScheduler`

适用于构建Twisted的应用程序
from apscheduler.schedulers.twisted import TwistedScheduler

`QtScheduler`：

适用于构建Qt的应用程序
from apscheduler.schedulers.qt import QtScheduler

`TornadoScheduler`

适用于构建Tornado的应用程序
from apscheduler.schedulers.tornado import TornadoScheduler

五、触发器（triggers）

1、date触发器

在某个日期时间只触发一次事件
run_date：参数为制定触发事件的日期

from datetime import datetime

from apscheduler.schedulers.blocking import BlockingScheduler


def func(name):
    now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print(now + f" Hello world, {name}")


scheduler = BlockingScheduler()
# 指定在2022/05/19 16:53 进行执行任务
scheduler.add_job(func, 'date', run_date=datetime(2022, 5, 19, 16, 53), args=["desire"])
scheduler.start()

　　运行结果：

2022-05-19 16:53:00 Hello world, desire

2、interval触发器

　　在固定的事件间隔触发事件

　　interval触发器可以设置的触发参数

weeks：周，int
days：一个月中的天，int
hours：小时，int
minutes：分钟，int
seconds：秒，int
start_date：间隔触发的起始时间
end_date：间隔触发的结束时间
jitter：触发的时间误差

# 三秒执行一次
scheduler.add_job(func, 'interval', seconds=3, args=["desire"])

　　3、cron触发器

　　在某个确切的时间周期性的触发时间

　　参数：

year：4位数的年份
month：1-12月份
day：1-31日
week：1-53周
day_of_week：一周中的第几天
- 0-6
- mon、tue、wed、thu、fri、fri、sat、sun
hour：0-23小时
minute：0-59分钟
second：0-59秒
start_date：datetime类型或字符串类型，起始时间
end_date：datetime类型或字符串累成，结束时间
timezone：时区
jitter：任务触发的误差时间

　　也可以使用表达式类型：

*：任何在每个值都触发
*/a：任何每个a触发一次
a-b：任何在a-b区间任何一个时间触发（a<b）
a-b/c：任何在a-b区间内每隔c触发一次
xth y day：第x个星期y触发
last y day：最后一个星期y触发
last day：一个月中的最后一天触发
x、y、z：任何可以把上面的表达式进行组合

# 在每个50秒的时候触发
scheduler.add_job(func, 'cron', second=50, args=["desire"])

# 在第4个星期日触发
scheduler.add_job(func, 'cron', day="4th sun", args=["desire"])

六、任务存储器（job stores）

`MemoryJobStore`

没有序列化，任务存储在内存中，增删改查都在内存中完成
from apscheduler.jobstores.memory import MemoryJobStore

`SQLAlchemyJobStore`

使用SQLAlchemy这个ORM框架作为存储方式
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore

`MongoDBJobStore`

使用mongodb作为存储器
from apscheduler.jobstores.mongodb import MongoDBJobStore

`RedisJobStore`

使用redis作为存储器
from apscheduler.jobstores.redis import RedisJobStore

七、执行器（executors）

`ThreadPoolExecutor`

默认执行器
线程池执行器
from apscheduler.executors.pool import ThreadPoolExecutor

`ProcessPoolExecutor`

进程池执行器
适用于涉及到一些CPU密集计算的操作
from apscheduler.executors.pool import ProcessPoolExecutor

`GeventExecutor`

Gevent程序执行器
from apscheduler.executors.gevent import GeventExecutor

`TornadoExecutor`

Tornado程序执行器
from apscheduler.executors.tornado import TornadoExecutor

`TwistedExecutor`

Twisted程序执行器
from apscheduler.executors.twisted import TwistedExecutor

`AsyncIOExecutor`

asyncio程序执行器
from apscheduler.executors.asyncio import AsyncIOExecutor

八、定时任务调度配置

`jobstores` 用来配置存储器

使用SQLAlchemy进行存储
使用sqlite数据库，会自动创建数据库，并创建apscheduler_jobs表

`executors` 用来配置执行器

使用线程池进行执行
设置最大线程数为20个

`job_defaults` 创建job时的默认参数

coalesce 是否合并执行
- 比如由于某个原因导致某个任务积攒了很多次没有执行（比如有一个任务是1分钟跑一次，但是系统原因断了5分钟）
- 如果 coalesce=True，那么下次恢复运行的时候，会只执行一次，
- 而如果设置 coalesce=False，那么就不会合并，会5次全部执行。
max_instances 最大实例数, 同一个任务同一时间最多只能有n个实例在运行。
- 比如一个耗时10分钟的job，被指定每分钟运行1次，如果我 max_instance值5，那么在第6~10分钟上，新的运行实例不会被执行，因为已经有5个实例在跑了。

from apscheduler.schedulers.blocking import BlockingScheduler
from apscheduler.jobstores.sqlalchemy import SQLAlchemyJobStore
from apscheduler.executors.pool import ThreadPoolExecutor

interval_task = {
    # 配置存储器
    "jobstores": {
        # 使用SQLAlchemy进行存储,会自动创建数据库，并创建apscheduler_jobs表
        'default': SQLAlchemyJobStore(url="sqlite:///jobs.db")
    },
    # 配置执行器
    "executors": {
        # 使用线程池进行执行，最大线程数是20个
        'default': ThreadPoolExecutor(20)
    },
    # 创建job时的默认参数
    "job_defaults": {
        'coalesce': False,  # 是否合并执行
        'max_instances': 3  # 最大实例数
    }

}
scheduler = BlockingScheduler(**interval_task)

九、任务操作

1、添加job

1）调用add_job()方法
- 最常用的方式
- 返回一个apscheduler.job.Job实例，可以用它在之后修改或移除job
- 如果调度的job在一个持久化的存储器里，当初始化应用程序时，必须要为job定义一个显示的ID并使用replace_existing=True, 否则每次应用程序重启时都会得到那个job的一个新副本
2）在任务中使用scheduled_job()装饰器
- 通过声明job而不修改应用程序运行时是最为方便的

# 最常用的方式
scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="desire_job", replace_existing=True)
# 使用装饰器
@scheduler.scheduled_job("interval", seconds=5, id="job2222222")
def test_task():
    now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    print(now + f" Hello world, 使用装饰器")

2、移除job

1）通过job的ID来调用remove_job方法
2）通过在add_job()中得到的job实例调用remove()方法
如果一个job完成了调度（例如他的触发器不会再被触发）, 它会自动被移除

# remove
job = scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
job.remove()

# remove_job
scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
scheduler.remove_job(job_id="job_remove")

3、暂停和恢复job

通过job实例或者schedule本身可以轻易地暂停和恢复job
当一个job被暂停，他的下一次运行时间将会被清空，同时不再计算之后的运行时间，直到这个job被恢复

# 暂停一个job
# 方式一：
job = scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
job.pause()
# 方式二：
scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
scheduler.pause_job(job_id="job_remove")

# 恢复一个job
# 方式一：
job = scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
job.resume()
# 方式二：
scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_remove")
scheduler.resume_job(job_id="job_remove")

4、获取作业调度列表

get_jobs获取机器上可处理的作业调度列表
- 返回一个Job实例列表
- 如果只对特定的存储器中的job感兴趣，可以将存储器的别名作为第二个参数
print_jobs 格式化输出作业列表以及他们的触发器和下一次的运行时间

5、修改job

modify()通过job实例进行修改属性
modify_job 通过job的ID进行修改属性

job = scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_modify")
# modify
job.modify(name="job222")
# modify_job
scheduler.modify_job(job_id="job_modify", name="job2222")

reschedule 通过job实例重新调度job
reschedule_job通过job的ID进行重新调度job

job = scheduler.add_job(func, 'interval', seconds=3, args=["desire"], id="job_modify")
# reschedule
job.reschedule(trigger='cron', minute='*/5')
# reschedule_job
scheduler.reschedule_job(job_id="job_modify", trigger='cron', minute='*/5')

十、调度器操作

1、终止调度器

shutdown()
- 默认情况，会终止任务存储器以及执行器，然后等待所有目前执行的job完成后（自动终止）
- wait=False 此参数不会等待任何运行中的任务完成，直接终止

scheduler.shutdown()

scheduler.shutdown(wait=False)

2、暂停/恢复 job 的运行

scheduler.pause() 暂停被调度的job的运行
scheduler.resume() 恢复job的运行，会导致调度器在被恢复之前一致处于休眠状态
scheduler.start(paused=True) 如果没有进行过唤醒，也可以对处于暂停状态的调度器执行start操作
- 可以有机会在不想要的job运行之前将它们排除掉

十一、调度器事件操作

add_listener 通过此方法对调度器绑定事件监听器

def my_listener(event):
    if event.exception:
        print("任务出错了！！！！！！！！！")
    else:
        print("任务正常运行。。。。。")
# 绑定事件监听器，当出现异常或者错误的时，进行监听
scheduler.add_listener(my_listener, mask=EVENT_JOB_EXECUTED | EVENT_JOB_ERROR)

posted @ 2022-05-19 16:21 QiuPing 阅读(2207) 评论(0) 编辑收藏举报

刷新页面返回顶部

QiuPing

互联网改变生活，科技改变世界！

python之定时任务APScheduler

一、APScheduler

二、安装

三、创建定时任务

四、调度器（schedulers）

BlockingScheduler

BackgroundScheduler

AsyncIOScheduler

GeventScheduler

TwistedScheduler

QtScheduler：

TornadoScheduler

五、触发器（triggers）

1、date触发器

2、interval触发器

3、cron触发器

六、任务存储器（job stores）

MemoryJobStore

SQLAlchemyJobStore

MongoDBJobStore

RedisJobStore

七、执行器（executors）

ThreadPoolExecutor

ProcessPoolExecutor

GeventExecutor

TornadoExecutor

TwistedExecutor

AsyncIOExecutor

八、定时任务调度配置

jobstores 用来配置存储器

executors 用来配置执行器

job_defaults 创建job时的默认参数

九、任务操作

1、添加job

2、移除job

3、暂停和恢复job

4、获取作业调度列表

5、修改job

十、调度器操作

1、终止调度器

2、暂停/恢复 job 的运行

十一、调度器事件操作

公告

`BlockingScheduler`

`BackgroundScheduler`

`AsyncIOScheduler`

`GeventScheduler`

`TwistedScheduler`

`QtScheduler`：

`TornadoScheduler`

　　3、cron触发器

`MemoryJobStore`

`SQLAlchemyJobStore`

`MongoDBJobStore`

`RedisJobStore`

`ThreadPoolExecutor`

`ProcessPoolExecutor`

`GeventExecutor`

`TornadoExecutor`

`TwistedExecutor`

`AsyncIOExecutor`

`jobstores` 用来配置存储器

`executors` 用来配置执行器

`job_defaults` 创建job时的默认参数