定时任务

 

python中定时任务的实现有很多种方法

 

1、最简单的方法:在一个死循环中每隔一定时间执行一次任务

2、threading.Timer模块:

    在规定的时间间隔后执行一次任务

from datetime import datetime
from threading import Timer

def job():
    print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def jobTask():
    Timer(5, job).start()  # 间隔时间, 任务名称

jobTask()


==============
5秒过后
2020-04-13 14:40:57

  

3、标准库sched

   scheduler 类来调度一次事件,从而达到定时执行任务的效果。

  操作步骤:

    1、构造一个sched.scheduler

    它接受两个参数:timefunc(当前时间) 和 delayfunc(暂停运行的时间单元), 一般使用默认参数就行,即 time.time 和 time.sleep。

    2、添加调度任务

    enter(delay, priority, action, argument=(), kwargs={}) 

      delay: 延迟多少秒执行

      priority: 数字越低优先级越高

      action:执行函数

      argument 和 kwargs 分别是函数的位置和关键字参数

    scheduler.enterabs(time, priority, action, argument=(), kwargs={})

      time:任务会在 time 这时刻执行, 其它参数含义同上

from datetime import datetime
import sched
import time

def job():
    print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def jobTask():
    scheduler = sched.scheduler(time.time, time.sleep) # 初始化任务
    scheduler.enter(2, 1, job) # 2秒后执行一次job任务
    scheduler.run()

jobTask()

  

4、高级python高度器Advanced Python Scheduler, 简称APScheduler。

  是一个轻量级的 Python 定时任务调度框架。APScheduler 支持三种调度任务:

      固定时间间隔

      固定时间点(日期)

      Linux 下的 Crontab 命令

  同时还支持异步执行、后台执行调度任务。

   安装: 

    pip install APScheduler -i https://pypi.tuna.tsinghua.edu.cn/simple  # windows

    pip install apscheduler -i https://pypi.tuna.tsinghua.edu.cn/simple  # linux

   使用方法:

    1、新建调度器

    2、添加后台定时任务

    3、启动

  简单示例:

import datetime
import time
from apscheduler.schedulers.background import BackgroundScheduler

# 将执行的任务
def job():
    print(datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

scheduler = BackgroundScheduler()  # 组件:新建调度器
scheduler.add_job(job, 'interval', seconds=2)  # 添加后台任务, 每2秒执行一次
scheduler.start()  # 开始任务

while True:
    print(time.time())
    time.sleep(1)

# 执行结果
1586764381.963936
1586764382.9640276
2020-04-13 07:53:03.963
1586764383.9644287
1586764384.9647956
2020-04-13 07:53:05.963
……

  

  组件的分类:

  1、作业存储器job stores
    任务持久化仓库, 默认将任务保存在内存中,也可将任务序列化后保存在各种数据库中,从数据库中加载后再反序列化。
  2、执行器executors
    负责处理作业的运行, 通常将作业提交到线程或进程池中运行。作业完成后通知调度器。
  3、调度器schedulers
    任务调度器属于控制器角色, 它配置作业存储器和执行器在可以在调度器中完成, 如添加、修改、移除作业。
  4、触发器triggers
    调度任务被触发的条件 
 
  

   调度器:

  1、BlockingScheduler : 阻塞当前线程, 在当前进程的主线程中运行。

     2、BackgroundScheduler : 不阻塞当前线程, 在后台线程运行。

  3、AsyncIOScheduler :  结合 asyncio 模块(一个异步框架)一起使用

  4、GeventScheduler : 程序中使用 gevent(高性能的Python并发框架)作为IO模型,和 GeventExecutor 配合使用

  5、TornadoScheduler : 程序中使用 Tornado(一个web框架)的IO模型,用 ioloop.add_timeout 完成定时唤醒。

  6、TwistedScheduler : 配合 TwistedExecutor,用 reactor.callLater 完成定时唤醒

  7、QtScheduler : 应用是一个 Qt 应用,需使用QTimer完成定时唤醒。

 

  2、触发器

  1、date触发器

    最基本的调度, 在特定的时间点触发, 任务只会执行一次。

参数 说明 
run_date(date,datetime或str) 作业的运行日期或时间
timezone (datetime.tzinfo 或 str) 指定时区

    

 

 

from datetime import datetime
from datetime import date
from apscheduler.schedulers.background import BackgroundScheduler
import time

# 被执行的函数
def job(text):
    print(text)

# 初始化调度程序
scheduler = BackgroundScheduler()
# 被执行的函数  date触发器 执行时间(执行一次)  参数 
scheduler.add_job(job, 'date', run_date='2020-04-14 11:36:00', args=['text'])
scheduler.add_job(job, 'date', run_date=datetime(2020, 4, 14, 11, 37, 0), args=['text'])

scheduler.start()

while True:
    time.sleep(10)
    print(time.time())

  

  2、interval触发器

  时间间隔触发器, 参数如下

  

示例:

import datetime
import time
from apscheduler.schedulers.background import BackgroundScheduler

# 被执行的任务
def job():
    print(datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

# 初始化调度程序
scheduler = BackgroundScheduler()
# 被执行函数  interval触发器 间隔参数1分钟
scheduler.add_job(job, 'interval', minutes=1)
# 被执行函数  interval触发器 间隔参数1分钟 间隔参数开始时间 间隔参数结束时间
scheduler.add_job(job, 'interval',minutes=1, start_date='2020-04-14 12:00:10', end_date='2020-04-15 12:10:10')

scheduler.start()

while True:
    time.sleep(10)
    print("ok")

  3、cron触发器

   功能最强大的触发器, 在特定时间周期性触发, 和Linux crontab格式兼容。

  参数如下:

  

 

 

  支持的运算格式

      

  示例:

import datetime
from apscheduler.schedulers.background import BackgroundScheduler

# 被执行的任务
def job():
    print("当前时间:", datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

# 初始化调度函数
scheduler = BackgroundScheduler()
# 任务名称 cron调度器 月份为1-3, 7-9 日为星期一星期二  小时为1:00, 2:00, 3:00
scheduler.add_job(job, 'cron', month='1-3, 7-9', day='0, tue', hour='0-3')
scheduler.start()

  

   作业存储 job store

    添加job:

    1、add_job(): apscheduler.job.Job 实例, 可改变或移除job

    2、scheduled_job()修饰器来修饰函数: 不会改变的job

  scheduled_job 示例:

import datetime
import time
from apscheduler.schedulers.background import BackgroundScheduler

#初始化调度实例
scheduler = BackgroundScheduler()
# 间隔触发器 每1分钟执行一次
@scheduler.scheduled_job('interval', minutes=1)
def job():
    print("当前时间:", datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

scheduler.start()

while True:
    time.sleep(10)
    print(time.time())

执行结果:
[INFO][2020-04-14 14:48:40,293][base.py:440]Adding job tentatively -- it will be properly scheduled when the scheduler starts
[INFO][2020-04-14 14:48:40,294][base.py:881]Added job "job" to job store "default"
[INFO][2020-04-14 14:48:40,294][base.py:166]Scheduler started
1586846930.2962093
1586846940.297304
1586846950.2980711
1586846960.2989216
1586846970.2994986
[INFO][2020-04-14 14:49:40,298][base.py:123]Running job "job (trigger: interval[0:01:00], next run at: 2020-04-14 14:49:40 CST)" (scheduled at 2020-04-14 14:49:40.293767+08:00)
当前时间: 2020-04-14 06:49:40.299
1586846980.3026278
[INFO][2020-04-14 14:49:40,299][base.py:144]Job "job (trigger: interval[0:01:00], next run at: 2020-04-14 14:49:40 CST)" executed successfully
1586846990.3045704

  

    移除job

    remove_job(): 创建job时指定一个id, 根据此id删除job

    job.remove():对job执行remove方法

  

import datetime
from apscheduler.schedulers.background import BackgroundScheduler

# 初始化调度实例
scheduler = BackgroundScheduler()
# 被执行的任务
def job():
    print("当前时间:", datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

# 添加作业, 指定id
scheduler.add_job(job,'interval', minutes=2, id='job_one')
print("job1: ", scheduler.get_jobs())
# 根据id删除job
scheduler.remove_job('job_one')
print("job2: ", scheduler.get_jobs())
# 添加作业, 返回对象 
job = scheduler.add_job(job,'interval', minutes=2)
print("job3: ", scheduler.get_jobs())
# 根据对象删除job
job.remove()
print("job4: ", scheduler.get_jobs())

执行结果:
[INFO][2020-04-14 15:08:32,005][base.py:440]Adding job tentatively -- it will be properly scheduled when the scheduler starts
job1:  [<Job (id=job_one name=job)>]
job2:  []
[INFO][2020-04-14 15:08:32,006][base.py:627]Removed job job_one
job3:  [<Job (id=aaba0c4a60ab439492a5e0a4c4c6f879 name=job)>]
job4:  []
[INFO][2020-04-14 15:08:32,006][base.py:440]Adding job tentatively -- it will be properly scheduled when the scheduler starts
[INFO][2020-04-14 15:08:32,007][base.py:627]Removed job aaba0c4a60ab439492a5e0a4c4c6f879

  

    获取job列表

    通过 scheduler.get_jobs() 方法能够获取当前调度器中的所有 job 的列表

 

    修改job

    modify_job(): 根据job id来修改job

    Job.modify() : 根据job实例来修改job

    示例:

import datetime
from apscheduler.schedulers.background import BackgroundScheduler

# 初始化调度实例
scheduler = BackgroundScheduler()
# 被执行的任务
def job():
    print("当前时间:", datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

# 添加作业, 指定id
scheduler.add_job(job,'interval', minutes=2, id='job_one')
# 根据id修改job
scheduler.modify_job('job_one', minutes=5)
# 添加作业, 返回对象
job = scheduler.add_job(job,'interval', minutes=2)
# 根据对象修改job
job.modify( minutes=2)

 

    关闭job

scheduler.shutdown()
scheduler.shutdown(wait=false)

  

  执行器

  ProcessPoolExecutor:

  ThreadPoolExecutor:

 

posted on 2020-04-13 15:03  孔扎根  阅读(1148)  评论(0编辑  收藏  举报

导航